[論文レビュー] Transductive Data-Selection Algorithms for Fine-Tuning Neural Machine Translation

Alberto Poncelas, Gideon Maillette de Buy Wenniger+1 more|arXiv (Cornell University)|Aug 26, 2019

Natural Language Processing Techniques参考文献 39被引用数 5

ひとこと要約

本稿では、大規模な並列コーパスからテストセットに適合した文を照合するテストセット認識型文書検索を用いて、ニューラル機械翻訳（NMT）モデルを微調整するための非教示的データ選択アルゴリズム（FDA、INR、TFIDF）を提案する。テストセットに特化したドメイン内またはミックスドメインの文を選択することで、ニュースでは最大36.79 BLEU、医療分野では35.77 METEORの顕著なBLEU向上が達成され、一般ドメインおよび標準的なドメイン適応モデルを上回る性能を示した。特に、小規模でターゲットに特化したデータサブセットにおいて顕著な効果を示した。

ABSTRACT

Machine Translation models are trained to translate a variety of documents from one language into another. However, models specifically trained for a particular characteristics of the documents tend to perform better. Fine-tuning is a technique for adapting an NMT model to some domain. In this work, we want to use this technique to adapt the model to a given test set. In particular, we are using transductive data selection algorithms which take advantage the information of the test set to retrieve sentences from a larger parallel set. In cases where the model is available at translation time (when the test set is provided), it can be adapted with a small subset of data, thereby achieving better performance than a generic model or a domain-adapted model.

研究の動機と目的

• テストセットに特化したデータ選択手法を用いて一般ドメインモデルを特定のテストセットに適応させることで、ニューラル機械翻訳（NMT）の性能を向上させること。
• ドメイン特化翻訳の課題に取り組み、ドメイン内並列データが不足または存在しない状況を想定すること。
• 微調整に小規模でテストセット最適化されたデータサブセットを用いることで、全般またはドメイン内データで学習したモデルを上回る性能を達成できるかを検証すること。
• 3つの非教示的データ選択アルゴリズム（FDA、INR、TFIDF）が微調整に適した高価値文を効果的に検索できるかを評価すること。
• リトリーブプールに一般ドメインとドメイン内データを併用することで、性能の低下を伴わずにモデルの適応性が向上するかを検討すること。

提案手法

• テストセットをシードとして用い、より大きな並列コーパスから関連する文を検索する非教示的データ選択アルゴリズムを活用する。
• サブワードレベルの語彙を扱うためにバイトペア符号化（BPE）を適用し、微調整時の一般化性能を向上させる。
• 3つのデータ選択手法を採用：FDA（特徴距離ベースの適応）、INR（反復的最近接関連性）、TFIDF（語句頻度逆文書頻度）。
• 収束するまで性能が変化しなくなるまで、取得した文サブセットを用いて事前学習済みNMTモデルを微調整する。
• 3つのデータソースからデータを取得：一般ドメインデータ（BASE）、ドメイン内データ（EMEA、rapid2016）、両者の混合データ。
• 全実験で同一のモデルアーキテクチャとハイパーパrameterを用い、ニュースおよび医療分野のテストセットを用いてBLEU、TER、METEORスコアで評価した。

実験結果

リサーチクエスチョン

• RQ1 非教示的手法で選択されたデータサブセットを用いて微調整したモデルは、全般ドメインデータで学習したモデルを上回ることができるか？
• RQ2 ドメイン内データのサブセットを用いて微調整したモデルは、全ドメイン内データで学習したモデルを上回ることができるか？
• RQ3 一般ドメインとドメイン内データの混合を用いて微調整したモデルは、それぞれ単独で学習したモデルを上回ることができるか？
• RQ4 異なるデータ選択アルゴリズム（FDA、INR、TFIDF）は、微調整に適した文を検索する観点で、性能と効率の面でどのように比較できるか？
• RQ5 取得したデータサブセットのサイズは、特に統計的有意性の観点から性能向上に影響を与えるか？

主な発見

• 非教示的選択で得たデータサブセットを用いた微調整は、一般ドメインベースラインを統計的に有意に上回り、ニューステストセットでは最大36.79 BLEUの向上を達成した。
• FDAアルゴリズムは性能と速度のバランスが最も優れており、TFIDFやINRを上回ったが、特に小規模データサブセット（例：10万行）では顕著な優位性を示した。
• INRはFDAと同等の性能を達成したが、著しく長い時間（最大数時間）を要し、実験では最大20万文までしかリトリーブできなかった。
• TFIDFは全体的に性能が低く、特に大きなテストセットでは、文脈を考慮しない独立したスコアリングとドメイン外の文を多く取得する傾向のため、劣っていた。
• 医療テストセットでは、TFIDFが唯一すべての指標でp=0.01の統計的有意性を示した。これは、効果がドメインに依存することを示している。
• リトリーブプールに一般ドメインとドメイン内データを併用することで、全体的な性能が最も向上した。特にFDAやINRを用いた場合、より広い候補プールが適応品質の向上に寄与した。