[論文レビュー] Utilizing Lexical Similarity between Related, Low-resource Languages for Pivot-based SMT

Anoop Kunchukuttan, Maulik Shah+2 more|arXiv (Cornell University)|Feb 23, 2017

Natural Language Processing Techniques参考文献 22被引用数 3

ひとこと要約

本稿では、関連する低リソース言語をピボットとして用いる、サブワードレベルのピボットベースの統計的機械翻訳（SMT）システムを提案する。音声的音節（OS）とバイトペアエンコーディング（BPE）を活用することで翻訳品質を向上させる。サブワードレベルのピボティングが単語・語素レベルのピボティングを上回り、特に複数のピボット言語を組み合わせることで、直接翻訳モデルと同等の性能を達成し、直接平行コーパスが存在しない場合の欠落を効果的に補完することを示している。

ABSTRACT

We investigate pivot-based translation between related languages in a low resource, phrase-based SMT setting. We show that a subword-level pivot-based SMT model using a related pivot language is substantially better than word and morpheme-level pivot models. It is also highly competitive with the best direct translation model, which is encouraging as no direct source-target training corpus is used. We also show that combining multiple related language pivot models can rival a direct translation model. Thus, the use of subwords as translation units coupled with multiple related pivot languages can compensate for the lack of a direct parallel corpus.

研究の動機と目的

• 直接平行コーパスが存在しない関連言語間の低リソース機械翻訳の課題に対処すること。
• 関連言語間の語彙的類似性がピボットベース翻訳品質の向上に利用可能かどうかを調査すること。
• データスパarsityを低減し、低リソース環境での一般化を向上させるために、サブワード単位（OSおよびBPE）を翻訳単位として活用すること。
• 複数のピボット言語を組み合わせることで、直接翻訳システムの性能に近づくか、それを上回ることの有効性を評価すること。
• ドメインシフト状況下におけるサブワードレベルピボットモデルのロバストネスを評価すること。

提案手法

• ソース-ピボットおよびピボット-ターゲット言語ペア間で、サブワードレベルの単位（音声的音節およびBPE）を用いたフレーズベースSMTモデルを学習する。
• 関連言語間の語順類似性を保つためにモノトニックデコードを用い、データスパarsityを低減するため高次（10-gram）言語モデルを採用する。
• デコード段階で語レベルチューニングを実施しBLEUスコアを最適化し、テスト時におけるサブワードの再結合（デセグメンテーション）を実施する。
• ソースおよびターゲット言語の両方と関連性の高いピボット言語を選択することで、語彙的類似性と翻訳の一貫性を向上させる。
• 異なる言語ペアからの翻訳知識を集約するために、等重みの線形補間を用いて複数のピボットモデルを統合する。
• 直接モデルとすべてのピボットモデルの間で等重み補間を実施し、さらなる性能向上を図る。

実験結果

リサーチクエスチョン

• RQ1 サブワードレベルのピボットベースSMTは、低リソース環境下で語レベルや語素レベルのピボットモデルを上回ることができるか？
• RQ2 ソース言語とターゲット言語間に直接平行コーパスが存在しない場合、サブワードレベルのピボットモデルは直接翻訳モデルとどの程度同等の性能を達成できるか？
• RQ3 異なる関連ピボット言語を用いた複数のピボットモデルを組み合わせることで、翻訳性能が向上し、直接モデルの品質に近づくか？
• RQ4 ドメインシフト状況下では、サブワードレベルピボットモデルは語素レベルや語レベルピボットシステムと比較してどの程度ロバストか？
• RQ5 関連言語間の語彙的類似性は、サブワード単位を介して効果的に活用可能で、翻訳品質の向上に寄与するか？

主な発見

• サブワードレベルピボットモデル（OSおよびBPE）は語レベルピボットモデルを5–10 BLEUポイント上回り、最良の直接語素レベルモデルの約90%のBLEUスコアを達成する。
• サブワードレベルピボットモデルは、直接語素レベルモデルの95%のBLEUスコアを達成し、直接平行データが一切存在しない状況下でも強力な競争力を示す。
• 異なる関連ピボット言語を用いた複数ピボットモデルの組み合わせにより、システム（mar-benで23.69 BLEU）が直接モデル（23.53 BLEU）と同等の性能を示し、統計的有意性（p < 0.05）を示す。
• 直接モデルとすべてのピボットモデルを等重み補間で統合することで、さらに性能が向上（24.41 BLEU）し、一部のケースでは直接モデルを上回る。
• サブワードレベルピボットモデルは、語素レベルモデルと比較して、ドメインシフト（農業分野）状況下での性能低下が著しく小さく、より高いロバストネスを示す。
• サブワードの使用によりデータスパarsityが緩和され、特徴推定が向上し、限られた平行データの中でも複数のピボット言語を統合することで翻訳品質が向上する。