[論文レビュー] False-Friend Detection and Entity Matching via Unsupervised Transliteration

Yanqing Chen, Steven Skiena|arXiv (Cornell University)|Nov 21, 2016

Topic Modeling参考文献 27被引用数 15

ひとこと要約

本稿では、Wikipedia由来のデータと部分文字列ベースのコスト行列を用いて、69言語にわたる正確な表記変換を生成する教師なし翻刻モデルを提示する。トップ1の正答率は32.85%に達し、先行システムに比べ顕著な向上を示した。さらに、単語埋め込みを用いて真正の類似語と誤った類似語を検出する手法を採用し、68か国のうち69言語で語彙的に類似したペアが真正の借用語である可能性が高くなることを示した。

ABSTRACT

Transliterations play an important role in multilingual entity reference resolution, because proper names increasingly travel between languages in news and social media. Previous work associated with machine translation targets transliteration only single between language pairs, focuses on specific classes of entities (such as cities and celebrities) and relies on manual curation, which limits the expression power of transliteration in multilingual environment. By contrast, we present an unsupervised transliteration model covering 69 major languages that can generate good transliterations for arbitrary strings between any language pair. Our model yields top-(1, 20, 100) averages of (32.85%, 60.44%, 83.20%) in matching gold standard transliteration compared to results from a recently-published system of (26.71%, 50.27%, 72.79%). We also show the quality of our model in detecting true and false friends from Wikipedia high frequency lexicons. Our method indicates a strong signal of pronunciation similarity and boosts the probability of finding true friends in 68 out of 69 languages.

研究の動機と目的

• 69の主要言語の間で任意の言語ペアをサポートするスケーラブルで教師なしの翻刻モデルの開発。
• 教師なし手法を用いて、翻訳と真正の表記変換を区別することで、ノイズの多いWikipediaベースの翻刻学習データをクリーニングすること。
• 部分文字列照合とベイジアンコスト行列を用いた音声的類似性のモデリングにより、翻刻の正確性を向上させること。
• 分散単語埋め込みからの意味的類似性を組み合わせることで、多言語環境における真正の類似語と誤った類似語を検出すること。
• 語彙的近接性が借用語において意味的類似性と相関していることを示し、真正の借用語の検出をより良くすること。

提案手法

• 人物名・地名の間のWikipediaの言語間リンクから、576,403組の翻刻ペアを含む学習データセットを構築した。
• ベイジアン確率モデルを用いて、期待値最大化アルゴリズムを適用し、文字および部分文字列ベースのコスト行列を学習することで、音素レベルの認識を可能にした。
• 音声的および綴りのパターンを言語間でモデル化するため、1文字の遷移ではなく部分文字列照合を用いた。
• 事前学習済みの単語埋め込みを活用し、意味的類似性のテストを実施し、意味の違いに基づいて誤った類似語をフィルタリングした。
• 編集距離と頻出語彙内の順位付けといった内在的指標に加え、ゴールスタンダードベンチマークを用いて翻刻品質を評価した。
• 編集距離 ≤2 および埋め込み距離のしきい値を用いた言語間スキャンを実施し、潜在的な借用語を同定し、結果を検証した。

実験結果

リサーチクエスチョン

• RQ1 手動でのクリーニングや言語固有のチューニングに依存せずに、69言語にわたる教師なしモデルが高精度な翻刻を達成できるか？
• RQ2 部分文字列ベースの翻刻コスト行列モデリングは、1文字の遷移モデルに比べ、音声的類似性をより効果的に捉えられるか？
• RQ3 単語埋め込みは多言語環境において、真正の借用語と誤った類似語を効果的に区別できるか？
• RQ4 翻刻語ペアにおいて、語彙的類似性（編集距離）と意味的類似性（埋め込み距離）の間に強い相関があるか？
• RQ5 語彙的信号と意味的信号を組み合わせることで、言語間での真正の類似語の検出がどの程度向上するか？

主な発見

• 提案モデルは、トップ1、トップ20、トップ100の正答率がそれぞれ32.85%、60.44%、83.20%に達し、4つの共有言語においても先行システムの26.71%、50.27%、72.79%を上回った。
• 『obama』という名前に関して、10万語の頻出Wikipedia語彙に存在する23言語のうち20言語で、モデルが生成した最良の表記変換がゴールスタンダードと一致した。
• 25言語のうち22言語で、モデルが生成した最良の表記変換がゴールスタンダードと1文字の置換の差異以内であった。
• 69言語のうち68言語で、語彙的距離が最も近い語ペア（編集距離 ≤2）が、より距離の遠いペアよりも真正の類似語である確率が高かった。
• 単語埋め込み類似度テストを適用した後、69言語のうち68言語で最も語彙的に近いペアの50%以上が真正の類似語として確認されたが、ベトナム語、ラテン語、マルタ語を除く3か国を除いては同様の傾向が見られた。
• Google翻訳テストと埋め込みテストに両方合格した語ペアの割合（B / (B + TP)）が33言語で0.5を超えた。これは、高品質な埋め込みと信頼性の高い検出を示している。