[論文レビュー] Noisy Parallel Approximate Decoding for Conditional Recurrent Language Model

Kyunghyun Cho|arXiv (Cornell University)|May 12, 2016

Topic Modeling参考文献 28被引用数 47

ひとこと要約

本稿では、条件付き再帰的言語モデルにおける新たな並列近似デコード戦略であるノイジィ・パラレル近似デコード（NPAD）を提案する。NPADはデコード中に隠れ状態遷移にガウスノイズを注入することで、ベースとなるデコードアルゴリズム（例：グリーディ法やビームサーチ）の複数の独立したチェーンを並列に実行し、スコアが最も高い仮説を選択することで、通信オーバーヘッドなしにデコード品質を向上させる。グリーディ法やビームサーチをはるかに上回る性能向上を達成しており、特にビーム幅が小さい設定において顕著な向上が見られ、壁時計時間効率を維持したままである。

ABSTRACT

Recent advances in conditional recurrent language modelling have mainly focused on network architectures (e.g., attention mechanism), learning algorithms (e.g., scheduled sampling and sequence-level training) and novel applications (e.g., image/video description generation, speech recognition, etc.) On the other hand, we notice that decoding algorithms/strategies have not been investigated as much, and it has become standard to use greedy or beam search. In this paper, we propose a novel decoding strategy motivated by an earlier observation that nonlinear hidden layers of a deep neural network stretch the data manifold. The proposed strategy is embarrassingly parallelizable without any communication overhead, while improving an existing decoding algorithm. We extensively evaluate it with attention-based neural machine translation on the task of En->Cz translation.

研究の動機と目的

• ネットワークアーキテクチャやトレーニングの進展にもかかわらず、条件付き再帰的言語モデルにおけるデコード戦略の研究がまだ十分に行われていないという問題に取り組む。
• 標準的なグリーディ法やビームサーチをはるかに上回るデコード品質を向上させることを目的とするが、これらはしばしば最適でないか、計算コストが高くなる。
• 実用的なアプリケーションへの導入に適した、効果的かつ高度に並列化可能なデコード戦略を開発することを目的とする。
• 隠れ状態空間へのノイズ注入が、生成シーケンスの多様性と品質を向上させることを検証することを目的とする。

提案手法

• NPADは、デコード中に再帰的言語モデルの隠れ状態遷移関数に構造のないガウスノイズを注入する。
• グリーディ法やビームサーチなどの決定論的戦略に基づく複数の独立したデコードチェーンを、同時に並列に実行する。
• 各チェーンは同じ入力を処理するが、異なるノイズ実現値を用いることで、仮説空間内の多様なパスを探索する。
• 生成後、すべてのチェーンからスコアが最も高い仮説を最終出力として選択する。
• デコード中は通信を一切行わないように設計されており、分散システム上でほぼ線形の高速化が可能である。
• ノイズ分散は時間とともに徐々に小さくなり、初期値は高く、最終的にゼロに近づく。

実験結果

リサーチクエスチョン

• RQ1 再帰的言語モデルの隠れ状態遷移にノイズを注入することで、デコード品質が向上するか？
• RQ2 通信フリーな並列デコード戦略は、生成品質の観点から、標準的なグリーディ法やビームサーチを上回るか？
• RQ3 ニューラル機械翻訳において、NPADは多様なデコード法や確率的サンプリングと比較してどうなるか？
• RQ4 NPADは、高速なグリーディサーチと正確ではあるが遅いビームサーチの間の性能ギャップを効果的に埋めることができるか？

主な発見

• NPADはグリーディサーチを著しく上回るデコードパフォーマンスを達成し、ビーム幅10の設定でテストセットにおいてNLLを20.1842から19.6674に低下、BLEUスコアを17.03から18.78に向上させた。
• ビームサーチと組み合わせたNPAD+Bでは、NLLを19.9173から19.7888に低下、BLEUスコアを18.59から18.68に向上させ、高いビーム幅でも一貫した向上が得られた。
• NPADにより、グリーディサーチとビームサーチの間の性能ギャップは著しく縮小された：NLL差は7.9617から0.7789に、BLEU差は1.66から0.43に低下した。
• NPADは同じ設定で多様なデコード法を上回り、より高いBLEUスコアと一貫性のある向上を示しており、補助モデルを必要としない広範な適用可能性を示唆している。
• 本手法は通信オーバーヘッドなしにこれらの向上を達成しており、非常に効率的で、リアルタイム導入に適している。