[論文レビュー] :telephone::person::sailboat::whale::okhand:; or "Call me Ishmael" - How do you translate emoji?

Will Radford, Andrew M. Chisholm+2 more|arXiv (Cornell University)|Nov 7, 2016

Digital Communication and Language参考文献 11被引用数 3

ひとこと要約

この論文は、Moby Dickを絵文字にクラウドソーシング翻訳した『Emoji Dick』を、統計的単語アライメントや品詞タグ付けなどの自然言語処理技術を用いて分析し、絵文字がどのように通信システムとして機能するかを検討する。結果として、絵文字は名詞や動詞を好む傾向があり、繰り返し率が高く、語彙的多様性が低いにもかかわらず意味的内容を保持していることが判明。これは、制約のある文脈において、簡素化されたペイジン語に類似した言語的構造が絵文字に存在する可能性を示唆している。

ABSTRACT

We report on an exploratory analysis of Emoji Dick, a project that leverages crowdsourcing to translate Melville's Moby Dick into emoji. This distinctive use of emoji removes textual context, and leads to a varying translation quality. In this paper, we use statistical word alignment and part-of-speech tagging to explore how people use emoji. Despite these simple methods, we observed differences in token and part-of-speech distributions. Experiments also suggest that semantics are preserved in the translation, and repetition is more common in emoji.

研究の動機と目的

• 絵文字が高リスク・文脈フリーの文学的翻訳タスクにおいてどのように使用されるかを調査すること。
• 複雑な文学的テキストを翻訳する際、絵文字が意味的内容を保持するかどうかを検討すること。
• 語彙の分布、繰り返し、品詞アライメントに注目して、絵文字とテキストコーパスの統計的特性を比較すること。
• 品詞分布とアライメントパターンを通じて、絵文字がペイジン語に類似した構造的類似性を示すかどうかを調査すること。

提案手法

• 英語トークンと絵文字間の統計的単語アライメントにIBM Model 1を用い、9,734組のアラインド文ペアを訓練データとして使用。
• テキストおよび絵文字の両方に対して品詞タグ付けを実施し、主にNN（名詞）、VB（動詞）などの品詞の役割分布を分析。
• 語彙的多様性とジプの特性を比較するため、頻度分布とランク-頻度プロット（対数頻度 vs. ランク）を計算。
• ビグラム解析を用いて絵文字の繰り返しを測定し、絵文字コーパスとテキストコーパスにおける繰り返し頻度を比較。
• ストップワードと標 punctuatio を除外し、テキスト前処理にはNLTKのデフォルトトークナイザーおよび品詞タガーを使用。
• アライメント信頼度を評価するため、上位の絵文字-トークンアライメントをランク付けし、品詞別確率を分析。

実験結果

リサーチクエスチョン

• RQ1 高対照的・文脈フリーな状況下で、絵文字の分布と頻度は自然言語とどのように異なるか？
• RQ2 複雑な文学的テキストの絵文字翻訳において、意味的内容はどの程度保持されているか？
• RQ3 絵文字は、特に品詞分布に関して、ペイジン語に類似した文法的パターンを示すか？
• RQ4 繰り返しは絵文字コミュニケーションにおいてどのような役割を果たし、自然言語とはどのように異なるか？

主な発見

• 絵文字コーパスの語彙的多様性は顕著に低く、テキストコーパスの16,454語に対して、絵文字はたった470種類の固有タイプにとどまる。
• 絵文字文はテキスト文の約半分の長さであり、1文あたりの平均トークン数は絵文字で9.4、テキストで20.8である。
• 最も頻出する絵文字は人物（例：🧍‍♂️）、クジラ（例：🐋）、行動（例：🛶）に関連しており、名詞および動詞と強くアライメントされている。
• 絵文字のビグラム繰り返し率は3.2％であるのに対し、テキストではたった0.4％であり、繰り返しが言語的手段として体系的に用いられていることが示唆される。
• 品詞分布解析から、最も確率の高い絵文字アライメントの70％が名詞（NN）に、56％が動詞（VB）に割り当てられており、強い文法的役割が示唆される。
• 高いノイズと主観性にもかかわらず、アライメントモデルは一貫したマッピングを同定している—例として、🐋は「whale」「sperm」「whales」と強く関連している—これは共通の意味的参照を示している。