[論文レビュー] One Sentence One Model for Neural Machine Translation

Xiaoqing Li, Jiajun Zhang+1 more|arXiv (Cornell University)|Sep 21, 2016

Natural Language Processing Techniques参考文献 24被引用数 22

ひとこと要約

本稿では、各テスト文に対して、類似した小規模な訓練データのサブセットを用いて、オンザフライで一般化されたNMTモデルを微調整する動的ニューラル機械翻訳（NMT）手法を提案する。類似した文のペアを類似度検索により検索し、文ごとにモデルを微調整することで、特に類似度の高い訓練例が利用可能な場合、構造的変更なしに最大10 BLEUポイントの向上を達成する。

ABSTRACT

Neural machine translation (NMT) becomes a new state-of-the-art and achieves promising translation results using a simple encoder-decoder neural network. This neural network is trained once on the parallel corpus and the fixed network is used to translate all the test sentences. We argue that the general fixed network cannot best fit the specific test sentences. In this paper, we propose the dynamic NMT which learns a general network as usual, and then fine-tunes the network for each test sentence. The fine-tune work is done on a small set of the bilingual training data that is obtained through similarity search according to the test sentence. Extensive experiments demonstrate that this method can significantly improve the translation performance, especially when highly similar sentences are available.

研究の動機と目的

• 固定パラメータのNMTモデルが個々のテスト文に適応できないという制限を解消すること。
• 文ごとの動的微調整により、テスト文ごとのモデルのカスタマイズを可能にし、翻訳品質を向上させること。
• 静的モデル推論を超えて、類似した訓練例を活用することで翻訳性能を向上させられるかを検証すること。
• 構造的変更なしに、効率的かつモデルに依存しないNMTの改善手法を開発すること。

提案手法

• 一般化されたNMTモデルを、標準的なエンドツーエンド学習により、完全な並列訓練コーパスで事前学習する。
• 各テスト文に対して、文字列ベースまたは隠れ表現ベースの類似度測定を用いて、訓練データから類似した元文を検索する。
• 最も類似度の高い文のペアの小規模なサブセットを選択し、そのテスト文に特化して事前学習済みモデルを微調整する。
• 微調整は、デコードの前にモデルパラメータを更新する形でオンザフライで実行され、その際は類似例の数に制限を設ける。
• 特に大規模な訓練データに対して効率を確保するため、類似度検索をインverted indexを用いて高速化する。
• 本手法はモデルに依存せず、アテンションを備えたエンコーダデコーダフレームワークに従う任意のNMTシステムに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 類似した訓練例を用いたオンザフライ微調整は、固定パラメータのNMTモデルを超えて翻訳性能を向上させられるか？
• RQ2 テスト文と訓練例との類似度が性能向上に与える影響はいかほどか？
• RQ3 性能と効率のバランスを考慮した場合、微調整に使用する類似文の最適数は何か？
• RQ4 大規模な訓練コーパスに対しても、著しいデコード時間の増加を伴わずにスケーラブルに適用可能か？
• RQ5 異なるデータ分布や類似度測定法に対しても本手法は一般化可能か？

主な発見

• 類似度の高い文が利用可能な場合、3つのテストセットで平均1.2 BLEUポイントの向上を達成した。
• 類似度が0.4～1.0の非常に類似した文が検出された場合、10 BLEUポイントを超える向上が見られた。
• フレーズカバレッジベースの類似度検索を用いることで、微調整に必要な文の平均数が31にまで削減され、128文を使用した場合と比較してデコード時間をほぼ半減させた。
• 微調整に32文以下を用いる場合、時間コストはベースラインの2倍以内に収まり、128文を用いる場合はベースラインの4倍にまで増加した。
• 類似度が低い状況でも、本手法はベースラインNMTを上回り、さまざまな類似度レベルにおいても頑健であることが示された。
• 編集距離を用いた検索は最も遅いが、それでもデコード時間の3分の1未満であり、インバーテッドインデックスにより高速な類似度検索が実現された。