[論文レビュー] A Stable and Effective Learning Strategy for Trainable Greedy Decoding

Yun Chen, Victor O. K. Li+2 more|arXiv (Cornell University)|Apr 21, 2018

Natural Language Processing Techniques参考文献 37被引用数 5

ひとこと要約

本稿では、ビームサーチ出力から得られる擬似並列コーパスを用いて、勾配降下法を用いて訓練された小さなエージェントネットワークを導入することで、ニューラルシーケンスモデルにおけるグリーディデコードの安定性と効率性を向上させる手法を提案する。エージェントは、BLEUなどのメトリクスで順位付けされた高得点のシーケンス上で標準的なバックプロパゲーションにより訓練され、デコード品質に顕著な向上をもたらす。これは、ビームサーチの性能に匹敵またはそれを上回るが、グリーディデコードの高速性を維持し、追加の計算コストやトレーニング時間も最小限に抑えることができる。

ABSTRACT

Beam search is a widely used approximate search strategy for neural network decoders, and it generally outperforms simple greedy decoding on tasks like machine translation. However, this improvement comes at substantial computational cost. In this paper, we propose a flexible new method that allows us to reap nearly the full benefits of beam search with nearly no additional computational cost. The method revolves around a small neural network actor that is trained to observe and manipulate the hidden state of a previously-trained decoder. To train this actor network, we introduce the use of a pseudo-parallel corpus built using the output of beam search on a base model, ranked by a target quality metric like BLEU. Our method is inspired by earlier work on this problem, but requires no reinforcement learning, and can be trained reliably on a range of models. Experiments on three parallel corpora and three architectures show that the method yields substantial improvements in translation quality and speed over each base system.

研究の動機と目的

• 強化学習の不安定性を回避しつつ、トレーナブルグリーディデコードのための安定的で効果的な学習戦略を開発すること。
• 推論コストを増加させることなく、グリーディデコードの品質をビームサーチの性能に達するかそれを上回るように向上させること。
• ベースモデルの再トレーニングなしに、多様なアーキテクチャやメトリクスに適用可能な方法を実現すること。
• ビームサーチ出力から信頼性が高く品質の高い擬似並列コーパスを生成し、エージェントネットワークの訓練に用いること。
• 本手法が、わずかな追加パラメータで翻訳メトリクス（BLEU、METEOR、TER）に顕著な向上をもたらすことを示すこと。

提案手法

• 推論中に事前学習済みデコーダーの隠れ状態を観測・変更する小さなエージェントネットワークを訓練する。
• ベースモデルに対してビームサーチ（大きなビームサイズ）を実行し、目的メトリクス（例：BLEU）で順位付けされた上位k個の出力を選択することで、擬似並列コーパスを構築する。
• 選択された高品質な出力を教師あり学習データとして用い、標準的なバックプロパゲーションによりエージェントネットワークを訓練する。
• 訓練済みエージェントを推論パイプラインに統合し、変更された隠れ状態を用いてグリーディデコードをガイドする。
• RNN、ConvS2S、Transformerモデルに適用することで、アーキテクチャに依存しない手法を実現する。
• 強化学習を避けるために、モデル固有の人工データセット上で通常のバックプロパゲーションを用いてエージェントネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 推論コストを増加させることなく、トレーナブルエージェントネットワークがグリーディデコードの性能を顕著に向上させられるか？
• RQ2 強化学習を用いずに、このようなエージェントネットワークを安定的かつ効果的に訓練できるか？
• RQ3 擬似並列コーパスの品質が最終的なデコード性能にどのように影響するか？
• RQ4 本手法は、異なるニューラルシーケンスモデルや評価メトリクスに一般化可能か？
• RQ5 グリーディデコードの高速性を維持しつつ、ビームサーチの性能に達するかそれを上回るまでの程度はどの程度か？

主な発見

• IWSLT16ドイツ語-英語データセットにおいて、Transformerモデルを用いた場合、本手法は28.36のBLEUスコアを達成し、同じ目的関数で学習したグリーディデコード（27.15 BLEU）とビームサーチ（28.74 BLEU）を上回った。
• WMT14ドイツ語-英語データセットでは、本手法はグリーディデコードよりもMETEOR（MTR）で0.7ポイント向上し、ビームサーチよりも0.3ポイント向上した。
• sTER目的関数で学習した場合、本手法はビームサーチに比べて文単位のTERを0.5ポイント低減し、グリーディデコードに比べて3.0ポイント低減した。
• RNN、ConvS2S、Transformerの3つのアーキテクチャにおいても性能向上が一貫して得られ、広範な適用可能性が示された。
• わずかな追加パラメータと最小限のトレーニング時間で、安定した強化学習を避ける標準的なバックプロパゲーションを用いて、これらの向上を達成した。
• 高得点のビームサーチ出力に基づく擬似並列コーパス構築戦略は、複数のデータセットやモデルにおいて効果的でスケーラブルであることが実証された。