[論文レビュー] Data Selection with Feature Decay Algorithms Using an Approximated Target Side

Alberto Poncelas, Gideon Maillette de Buy Wenniger+1 more|arXiv (Cornell University)|Nov 7, 2018

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、ニューラル機械翻訳（NMT）のデータ選択のための特徴減衰アルゴリズム（FDA）を、標準のソース側テストセットに加えて事前翻訳により得られる近似されたターゲット側を組み込むことで強化することを提案する。この手法により、テスト入力の意味的・ドメイン的関連性がより高い文対を選び出すことができ、全データ学習と比較して統計的に有意な1.5以上のBLEUポイントの向上を達成し、ソースのみのFDAベースラインと比較しても0.5以上のBLEU向上を達成した。

ABSTRACT

Data selection techniques applied to neural machine translation (NMT) aim to increase the performance of a model by retrieving a subset of sentences for use as training data. One of the possible data selection techniques are transductive learning methods, which select the data based on the test set, i.e. the document to be translated. A limitation of these methods to date is that using the source-side test set does not by itself guarantee that sentences are selected with correct translations, or translations that are suitable given the test-set domain. Some corpora, such as subtitle corpora, may contain parallel sentences with inaccurate translations caused by localization or length restrictions. In order to try to fix this problem, in this paper we propose to use an approximated target-side in addition to the source-side when selecting suitable sentence-pairs for training a model. This approximated target-side is built by pre-translating the source-side. In this work, we explore the performance of this general idea for one specific data selection approach called Feature Decay Algorithms (FDA). We train German-English NMT models on data selected by using the test set (source), the approximated target side, and a mixture of both. Our findings reveal that models built using a combination of outputs of FDA (using the test set and an approximated target side) perform better than those solely using the test set. We obtain a statistically significant improvement of more than 1.5 BLEU points over a model trained with all data, and more than 0.5 BLEU points over a strong FDA baseline that uses source-side information only.

研究の動機と目的

• NMTにおける伝達的データ選択の限界、すなわち、ソース側テストセットにのみ依存し、翻訳が不正確または不適切な文が選ばれることを是正すること。
• テストセットの事前翻訳から得られる近似ターゲット側を組み込むことで、データ選択の関連性を向上させること。
• ソース側とターゲット側のFDA出力を組み合わせることで、ソース側のみを使用する場合よりも優れたNMTモデル性能が得られるかどうかを調査すること。
• 合成ターゲット側データがドメイン特化翻訳タスクにおける学習データの多様性とモデルの汎化性能に与える影響を評価すること。

提案手法

• 初期NMTモデルを用いてソース側テストセットを事前翻訳し、近似ターゲット側（test_trg）を生成する。
• 特徴減衰アルゴリズム（FDA）を、ソース側テストセット（test_src）および事前翻訳されたターゲット側（test_trg）の両方に対して独立して適用し、関連する学習文対を抽出する。
• FDA_srcとFDA_trgの出力を重み付き混合により結合し、ハイパーパrameter α が両者のバランスを制御する。
• 結合された学習データを用いてドイツ語-英語NMTモデルを微調整し、BLEUスコアで性能を評価する。
• 各コンponentの寄与度およびFDA_srcとFDA_trgの出力間のデータオーバーラップの影響を分析するためのアブレーションスタディを実施する。
• 比較のための強力なベースラインとして、全データ学習とソースのみのFDAベースラインを用いる。

実験結果

リサーチクエスチョン

• RQ1 FDAに近似ターゲット側を組み込むことで、ソース側テストセットのみを使用する場合と比較してNMTモデル性能が向上するか？
• RQ2 ソース側とターゲット側のFDA出力の組み合わせが、データの多様性とモデルの汎化性能に与える影響は何か？
• RQ3 FDA_srcとFDA_trgの出力間のデータオーバーラップが、モデル性能および学習データ品質に与える影響は何か？
• RQ4 テストセットの事前翻訳が、伝達的データ選択におけるターゲット側関連性の代替指標として信頼できるか？
• RQ5 FDA出力の重み付き組み合わせが、一方のソースに偏った重み付けや等しい重み付けよりも優れた結果をもたらすか？

主な発見

• ソース側と近似ターゲット側の両方を用いたFDA出力の組み合わせにより学習したモデルは、全データ学習と比較して1.5以上のBLEUポイントの統計的に有意な向上を達成した。
• 組み合わせFDAアプローチは、強力なソースのみのFDAベースラインを0.5以上のBLEUポイント以上上回り、ターゲット側情報の価値を示した。
• 学習データ内の固有の文対の数は82%から94%の範囲にあり、FDA_srcとFDA_trgが主に異なる文対を抽出していることが示された。特にデータサイズが小さい場合に顕著であった。
• 選択された文の数が増加するにつれて、FDA_srcとFDA_trgの出力間のオーバーラップが増加し、固有の行の割合が94%（500K）から82%（2M）に低下した。これは、検索行動が収束に近づいていることを示唆している。
• 長さやタイミング制約のため翻訳が不正確になりがちな字幕コーパスにおいて、より正確または文脈的に関連性の高い翻訳を持つ文対を優先することで、問題を効果的に緩和した。
• 結果から、合成ターゲット側データが、特にドメイン特化型またはリソースが限られた環境において、データ選択のための価値あるシグナルである可能性が示された。