[論文レビュー] Simpler and Faster Learning of Adaptive Policies for Simultaneous Translation

Baigong Zheng, Renjie Zheng+2 more|arXiv (Cornell University)|Sep 4, 2019

Natural Language Processing Techniques参考文献 9被引用数 4

ひとこと要約

本論文は、並列文書から得られるオラクルREAD/WRITE行動シーケンスを用いて、同時翻訳のための適応的ポリシーを訓練する教師あり学習フレームワークを提案する。この手法により、下位のNMTモデルを再訓練せずに、より高速で安定した学習と向上した翻訳品質が実現される。単一のGPUを用いて約12時間で学習が完了し、低遅延条件下でも先行手法より高いBLEUスコアを達成する。

ABSTRACT

Simultaneous translation is widely useful but remains challenging. Previous work falls into two main categories: (a) fixed-latency policies such as Ma et al. (2019) and (b) adaptive policies such as Gu et al. (2017). The former are simple and effective, but have to aggressively predict future content due to diverging source-target word order; the latter do not anticipate, but suffer from unstable and inefficient training. To combine the merits of both approaches, we propose a simple supervised-learning framework to learn an adaptive policy from oracle READ/WRITE sequences generated from parallel text. At each step, such an oracle sequence chooses to WRITE the next target word if the available source sentence context provides enough information to do so, otherwise READ the next source word. Experiments on GermanEnglish show that our method, without retraining the underlying NMT model, can learn flexible policies with better BLEU scores and similar latencies compared to previous work.

研究の動機と目的

• 強化学習による適応的ポリシーの訓練における不安定さと非効率性を解消すること。
• 文脈的乖離により将来の内容を予測せざるを得ない固定遅延ポリシーの制限を克服すること。
• 下位のNMTモデルを再訓練せずに、柔軟で制御可能なポリシーを学習する方法を開発すること。
• 推論時に異なる遅延要件に適応できる1つのポリシー・モデルを可能にすること。
• 並列文ペアからオラクルベースの行動シーケンス（READ/WRITE）を生成し、教師ありポリシー学習に用いること。

提案手法

• 各並列文ペアに対して、事前に訓練済みのNMTモデルを用いてオラクル行動シーケンス（READ/WRITE）を生成する。行動は、現在のソース文脈が次のターゲット語を予測するのに十分かどうかによって決定される。
• 次のターゲット語を予測するのに十分な文脈が存在しない場合にREAD行動を定義し、十分な文脈がある場合にWRITE行動を定義する。
• 生成された行動シーケンスを用いて交差エントロピー損失で教師ありポリシー・モデルを学習し、現在のソースおよびターゲット文脈に基づいて次の行動を直接予測する。
• 推論時に遅延を制御するため、次のターゲット語の予測信頼度に基づいてWRITE行動を発行する閾値ρを調整する。
• 学習済みポリシーを用いた推論時にビームサーチを適用し、制御性と効率性を維持する。
• 再訓練を避けながら、下位の事前訓練済みNMTモデルをデコードに活用し、優れた性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 強化学習を用いず、教師あり学習フレームワークが同時翻訳のための適応的ポリシーを効果的に訓練できるか？
• RQ2 並列テキストから生成されたオラクル行動シーケンスが、強化学習ベースやヒューリスティック手法と比較して、より優れたポリシー学習を可能にするか？
• RQ3 本手法は、固定遅延待機kポリシーと比較して、より高い翻訳品質（BLEU）と低い遅延を達成できるか？
• RQ4 1つのポリシー・モデルが再訓練なしに、さまざまな遅延要件に一般化して適応できるか？
• RQ5 この設定において、教師あり学習の学習安定性と効率性は強化学習と比較してどのように異なるか？

主な発見

• 本手法は、下位のNMTモデルを再訓練せずに、低遅延条件下でWIW、WID、強化学習ベース、およびテスト時待機k手法を上回る高いBLEUスコアを達成する。
• 強化学習と比較して、より高速かつ安定して収束し、単一GPUを用いて約12時間で学習が完了する。
• 強化学習ベースラインは8つのGPUを用いて600時間以上を要したのに対し、本手法は教師ありアプローチの効率的さを示している。
• 閾値ρの調整により、さまざまな遅延設定でも優れた性能を維持でき、複数のモデルを用意する必要がなくなる。
• 学習プロセスは安定しており、顕著な発散や不安定性は観察されなかった。一方、強化学習ベースラインは、非常に高い遅延を伴って一時的に高いBLEUスコアを達成することがあった。
• テスト時待機kモデルは、k値が小さい場合に出力が短くなりすぎたり、過剰な句読点が付加される傾向があったが、本手法はこれを上回る性能を示した。