[論文レビュー] Dynamic Sentence Sampling for Efficient Training of Neural Machine Translation

Rui Wang, Masao Utiyama+1 more|arXiv (Cornell University)|May 1, 2018

Natural Language Processing Techniques参考文献 18被引用数 3

ひとこと要約

本稿では、トレーニングコストの相対的変化に基づいて文を動的に再サンプリングすることで、ニューラル機械翻訳（NMT）のトレーニングを高速化する動的文サンプリング（DSS）を提案する。改善の可能性が高く、知識を保持するためのレビュー機構を用いることで、すでに学習が進んだ文に対する無駄なトレーニングを削減し、収束を早め、BLEUスコアを向上させる。50万バッチのトレーニング後、ベースラインモデルと比較して最大2.2ポイント高いBLEUスコアを達成した。

ABSTRACT

Traditional Neural machine translation (NMT) involves a fixed training procedure where each sentence is sampled once during each epoch. In reality, some sentences are well-learned during the initial few epochs; however, using this approach, the well-learned sentences would continue to be trained along with those sentences that were not well learned for 10-30 epochs, which results in a wastage of time. Here, we propose an efficient method to dynamically sample the sentences in order to accelerate the NMT training. In this approach, a weight is assigned to each sentence based on the measured difference between the training costs of two iterations. Further, in each epoch, a certain percentage of sentences are dynamically sampled according to their weights. Empirical results based on the NIST Chinese-to-English and the WMT English-to-German tasks depict that the proposed method can significantly accelerate the NMT training and improve the NMT performance.

研究の動機と目的

• 固定エポックでのトレーニングにおける非効率性、すなわち、すでに学習が進んだ文が無駄に繰り返しトレーニングされることを解消すること。
• エポックごとの改善が最小限の文を特定し、優先度を下げることで、トレーニング時間と計算リソースの無駄を削減すること。
• まだ改善の余地がある文に集中することで、NMTの性能を向上させること。
• レビュー機構を用いて、すでに学習が進んだ文の知識を保持することで、深刻な忘却を防ぐこと。
• WMTやNISTベンチマークを含む大規模かつノイズの多いデータセットにおいて、本手法の有効性を評価すること。

提案手法

• 本手法は、2つの連続する反復間における文単位のトレーニングコストの相対的差分に基づく動的基準を計算する：$ dif_{\langle x,y\rangle}^{i} = \frac{cost_{\langle x,y\rangle}^{i-1} - cost_{\langle x,y\rangle}^{i}}{cost_{\langlex,y\rangle}^{i-1}} $。
• この差分を[0,1]に正規化し、最終的な基準値を定義する：$ criterion_{\langle x,y\rangle}^{i} = \frac{dif_{\langle x,y\rangle}^{i} - \min(dif^{i})}{\max(dif^{i}) - \min(dif^{i})} $、これはさらなる改善の可能性を表す。
• 各エポックにおいて、基準値に比例する確率で文が再サンプリングされ、改善の可能性が高いための文が動的に再選択される。
• 2つの再サンプリング戦略が導入された：基準値スコアに基づく重み付きサンプリングと、過去に処理された文の一部を保持するレビュー機構。
• 本手法は文の恒久的削除を避けるため、学習済みの知識の忘却リスクを低減する。
• 本手法は、BLEUスコアとトレーニング効率の指標を用いて、NIST中国語-英語およびWMT英語-ドイツ語翻訳タスクで評価された。

実験結果

リサーチクエスチョン

• RQ1 トレーニングコストの変化に基づく動的文サンプリングが、性能の低下を伴わずにNMTのトレーニングを高速化できるか？
• RQ2 動的再サンプリングは、静的または固定再サンプリングのベースラインと比較して、収束速度および最終BLEUスコアで優れているか？
• RQ3 提案手法が、すでに学習が進んだ文の忘却によって引き起こされる性能低下を防げるか？
• RQ4 トレーニング中にノイズの多いまたは不整合のある文ペアを特定し、その影響を低減できるか？
• RQ5 大規模かつ長時間のNMTトレーニング環境において、本手法はどの程度効果的か？

主な発見

• 提案されたDSS手法は、NIST ZH-ENタスクで約26万バッチのトレーニング後、BLEUスコア38を達成し、ヴァニラNMTモデルより3ポイント高い性能を示した。
• NIST ZH-ENタスクにおいて、DSSはヴァニラNMTモデルと比較して1.2～2.2ポイント、最良のベースラインモデルと比較して0.9～1.7ポイントのBLEUスコア向上を達成した。
• レビュー機構は重み付きサンプリングを上回る性能を示し、学習済み知識の保持がより良く、時間経過に伴う性能の安定性も向上した。
• 1200万文のWMT EN-FRタスクでは、6エポック後、DSSがBLEUスコアを約0.6ポイント向上させ、大規模データでも有効であることを示した。
• NIST ZH-ENコーパスに20％のノイズがあり、不整合のあるデータを追加した後、1回のDSSサイクルでノイズ文の割合が13％に低下し、2回目のサイクルで7％にまで減少した。これは、ノイズの多い例の検出とフィルタリング能力を示している。
• ピーク時のBLEUスコア後に性能が低下するベースライン手法とは異なり、DSSモデルは安定した性能を維持した。これは、深刻な忘却のリスクが低減されていることを示している。