[論文レビュー] Transliteration in Any Language with Surrogate Languages

Stephen Mayhew, Christos Christodoulopoulos+1 more|arXiv (Cornell University)|Sep 14, 2016

Natural Language Processing Techniques参考文献 15被引用数 3

ひとこと要約

この論文は、低リソース言語を含め、任意の言語で表記の表記変換を生成する手法を提案している。Wikipediaを代替学習ソースとして用い、スクリプトの類似度、発音体系の類似度、学習済み埋め込みを基にWikipediaの言語を順位付けすることで、事前に最良の言語を知っているオラクルに匹敵する、あるいはそれ以上の性能を達成する。重み付き投票による複数候補の統合により、一部のケースでオラクルを上回ることも可能である。

ABSTRACT

We introduce a method for transliteration generation that can produce transliterations in every language. Where previous results are only as multilingual as Wikipedia, we show how to use training data from Wikipedia as surrogate training for any language. Thus, the problem becomes one of ranking Wikipedia languages in order of suitability with respect to a target language. We introduce several task-specific methods for ranking languages, and show that our approach is comparable to the oracle ceiling, and even outperforms it in some cases.

研究の動機と目的

• 対象言語に直接の学習データが存在しない場合でも、任意の言語、特に低リソース言語においても表記変換生成を可能にすること。
• 既存手法がWikipediaコーパスにすでに存在する言語に限定されており、それ以外の言語には対応できないという制限を克服すること。
• タスク指向の言語類似度メトリクスを構築し、代替学習ソースとしての適性を評価するためのWikipedia言語の順位付けを行うこと。
• 代替言語選択が、事前に最適な言語を知っているオラクルに匹敵またはそれを上回る性能を達成できることを示すこと。

提案手法

• 131のWikipedia言語（名前ペアが200組以上あるもの）を代替言語候補として用い、集合 $\mathcal{W}$ と表記する。
• すべてのテキストはuromanを用いてラテン文字にローマ字表記化され、これにより言語間の学習とテストが可能になる。
• 言語類似度は3つのメトリクスで計算される：スクリプト分布類似度（文字ヒストограмのコサイン類似度）、発音体系類似度（IPA発音記号のF1スコア）、および表記変換モデルから得た学習済み埋め込み。
• 類似度スコアが最も高い言語が代替言語として選ばれ、英語–代替言語ペアの学習データを用いて、対象言語 $T$ への表記変換モデルが訓練される。
• 性能向上のため、複数の上位代替言語を用い、各モデルのn-bestリストに対して重み付き投票を実施する。
• 本手法は、9つの低リソース対象言語において平均逆順位（MRR）で評価され、候補順位付けの際には対象言語自体を除外することで、低リソース状況を模擬する。

実験結果

リサーチクエスチョン

• RQ1 Wikipediaからの代替言語を用いて、対象言語に直接学習データがなくても、対象言語そのもので学習したモデルと同等の性能を達成できるか？
• RQ2 スクリプト、発音、学習済み埋め込みといった異なる言語類似度メトリクスは、最良の代替言語選定にどの程度有効か？
• RQ3 複数の上位代替言語からの予測を統合することで、最良の単一代替言語やオラクル自体の性能を上回ることができるか？
• RQ4 より複雑な発音または学習済み類似度測定よりも、単純で知識に依存しないスクリプト類似度が代替言語選定で優れているか？
• RQ5 対象言語に学習データが一切存在しない低リソース環境下でも、代替言語ベースの手法がオラクル性能を上回ることができるか？

主な発見

• スクリプト類似度が発音および学習済み類似度の両方を上回り、全対象言語の平均MRRが最も高かった。
• 上位1つの予測代替言語は、9つの対象言語のうち4つでオラクルの選択と一致し、性能も常にオラクルに近かった。
• ネワール語とウズベク語では、上位5つの代替言語を統合した結果、オラクルを上回った。それぞれMRRスコアは24.81*および44.37*であり、一部のケースでオラクルを上回ることを示している。
• 対象言語にWikipediaデータがまったくない場合でも、対象言語自体で学習した場合と同等またはそれ以上のMRRスコアを達成した。
• 上位5つの代替言語の重み付き投票を用いることで、9言語中7言語で性能が向上し、2つのケースではオラクルを上回った。