[論文レビュー] word2word: A Collection of Bilingual Lexicons for 3,564 Language Pairs

Yo Joong Choe, Kyubyong Park+1 more|arXiv (Cornell University)|Nov 27, 2019

Natural Language Processing Techniques参考文献 14被引用数 12

ひとこと要約

word2wordは、OpenSubtitles2018を用いて、単語の共起頻度に基づくモデルにより、62言語の3,564の言語対について大規模かつ公開可能な二語対訳語彙を抽出した。この手法は、単語の共起頻度を活用することで、高いカバー範囲と競争力のある翻訳品質を達成しており、オープンソースのPythonツールキットにより、カスタム並列コーパスへの容易なアクセスと拡張が可能である。

ABSTRACT

We present word2word, a publicly available dataset and an open-source Python package for cross-lingual word translations extracted from sentence-level parallel corpora. Our dataset provides top-k word translations in 3,564 (directed) language pairs across 62 languages in OpenSubtitles2018 (Lison et al., 2018). To obtain this dataset, we use a count-based bilingual lexicon extraction model based on the observation that not only source and target words but also source words themselves can be highly correlated. We illustrate that the resulting bilingual lexicons have high coverage and attain competitive translation quality for several language pairs. We wrap our dataset and model in an easy-to-use Python library, which supports downloading and retrieving top-k word translations in any of the supported language pairs as well as computing top-k word translations for custom parallel corpora.

研究の動機と目的

• 多様な言語対、特にインド・ヨーロッパ語族に属さない言語において、自由に利用可能で高カバー範囲の二語対訳語彙が不足している問題に対処すること。
• ウィクショナリーのような既存リソースの限界を克服すること。これらはしばしば語幹形にリダイレクトするが、直接的な語の対訳を提供しない。
• 多数の言語対に対してスケーラブルかつオープンソースのソリューションを構築し、各語の上位-k翻訳語を抽出すること。
• ユーザーフレンドリーなPythonインターフェースにより、低リソース機械翻訳やクロスリンガル埋め込みタスクへの実用的応用を可能にすること。
• OpenSubtitles2018を超えたカスタム並列コーパスへのアプローチの拡張を可能にし、ドメイン特化応用を可能にすること。

提案手法

• この手法は、ソース言語とターゲット言語の単語共起と、ソース言語の単語同士の自己相関を両方考慮する、カウントベースの二語対訳語彙抽出モデルを用いる。
• OpenSubtitles2018の文単位で並べ替えられた並列コーパスにおける共起頻度に基づき、翻訳確率を計算する。
• 相互情報量またはポイントワイズ相互情報量（PMI）スコアに基づいてターゲット語をランク付けすることで、各ソース語の上位-k翻訳語を算出する。
• このアプローチは、OpenSubtitles2018データセットに含まれる3,564の有向言語対すべてに適用され、62言語をカバーする。
• 得られた語彙はPythonライブラリとしてパckageされ、プログラム的アクセスが可能で、カスタムコーパス処理もサポートする。
• システムは、任意の対応言語対について翻訳のダウンロードと照会が可能であり、新たな並列コーパスでの学習も可能である。

実験結果

リサーチクエスチョン

• RQ1 単語の共起頻度パターンを活用し、単語の共起とクロスリンガル共起の両方を考慮するカウントベースのモデルが、多数の言語対において高カバー範囲の二語対訳語彙を生成できるか。
• RQ2 抽出された語彙の翻訳品質とカバー範囲は、既存のベンチマークと比較してどの程度優れているか。
• RQ3 この手法が、インド・ヨーロッパ語族に属さない言語や低リソース言語対にもどの程度スケーラブルに適用できるか。
• RQ4 オープンソースのPythonツールキットが、低リソース機械翻訳やクロスリンガル転移学習などの下流NLPタスクへの容易な統合を可能にするか。
• RQ5 モデルが、語形変化が豊富な語や希少語形（例：韓国語の '먹다' やフランス語の 'travaillé'）をどの程度適切に処理できるか。

主な発見

• word2wordデータセットは、62言語の3,564の有向言語対について、平均127,023エントリの語彙を提供し、1語あたり平均8.8個の翻訳語を含む。
• 英語-スペイン語のような主要な言語対では、6140万件の文と10万語以上の固有語が含まれ、高い翻訳カバー範囲を実現している。
• 共通語（例：'exceptional' や 'whether'）の上位5位以内に高いスコアの翻訳語が得られており、競争力のある翻訳品質が裏付けられている。
• モデルは語形変化形や活用形（例：フランス語の 'exceptionnel' と 'exceptionnelles'）を効果的に捉えている。
• Pythonツールキットにより、効率的な取得と拡張が可能で、OpenSubtitles2018を超えたカスタム並列コーパスの処理も可能である。
• 低リソース言語対、特に韓国語-英語およびベトナム語-英語に対しても、それぞれ8万語以上の固有翻訳語を含む、強力なカバー範囲を示している。