[論文レビュー] Learning to Decode for Future Success

Jiwei Li, Will Monroe+1 more|arXiv (Cornell University)|Jan 23, 2017

Topic Modeling参考文献 35被引用数 50

ひとこと要約

MLE に基づくポリシーと将来の結果予測子を組み合わせた単純なデコーディング戦略を導入し、生成をシーケンス長、相互情報量、BLEU/ROUGE スコアなどの望ましい特性へ誘導する。翻訳、要約、対話タスク全体の性能を向上させる。

ABSTRACT

We introduce a simple, general strategy to manipulate the behavior of a neural decoder that enables it to generate outputs that have specific properties of interest (e.g., sequences of a pre-specified length). The model can be thought of as a simple version of the actor-critic model that uses an interpolation of the actor (the MLE-based token generation policy) and the critic (a value function that estimates the future values of the desired property) for decision making. We demonstrate that the approach is able to incorporate a variety of properties that cannot be handled by standard neural sequence decoders, such as sequence length and backward probability (probability of sources given targets), in addition to yielding consistent improvements in abstractive summarization and machine translation when the property to be optimized is BLEU or ROUGE scores.

研究の動機と目的

• 標準的なMLEデコードを超えた controllable neural sequence generation の必要性を動機付ける。
• MLEポリシーと将来値予測子を補間して用いる、単純なアクター-クリティック風デコード戦略を提案する。
• この手法がシーケンス長、相互情報量、BLEU/ROUGE スコアなどの特性をタスク全体で制御できることを示す。
• 翻訳、要約、対話において、標準ビームサーチおよびいくつかのRLベースのベースラインに対して経験的改善を示す。
• 将来予測子を用いた訓練とデコードの設計バリアントと実用的な考慮事項を議論する。

提案手法

• デコード中にトークンを選ぶ将来の結果を推定する価値関数 Q を定義する。
• 次のトークンのスコアは S(y_t)=log p(y_t|h_{t-1}) + gamma * Q(X, y_{1:t})。
• Q を、(X, y_{1:t}) から最終的な将来の結果 q(Y)（例：BLEU/ROUGE、長さ、相互情報量）を予測するように訓練する。
• 局所的なMLEスコアと予測された将来の結果との線形補間を用いてデコーディングを誘導する（lambdaによって制御）。
• この Q の学習方法には、残りの長さを予測する variante、MI のための p(X|Y) を予測する予測、または BLEU/ROUGE を直接予測する予測を含める。
• Q を用いたデコーディングを Q を強化するビームサーチと組み合わせ、完全なポリシー更新なしに長期的な目標を促す。

実験結果

リサーチクエスチョン

• RQ1 デコードをどのようにガイドして、特定の特性（固定長、より高い MI、より高い BLEU/ROUGE など）を持つ出力を生成できるか（完全な RL 学習なしで）？
• RQ2 単純な補間型アクター-クリティック風デコーディングは、翻訳、要約、対話タスクで、標準のビームサーチおよびRLベースのデコーダより品質と多様性を改善するか？
• RQ3 現実的に異なる特性（長さ、MI、BLEU/ROUGE）に対して Q 予測子を訓練・統合する効果的な方法は何か？

主な発見

Model	BLEU	AdverSuc	machine-vs-random
SBS	1.45	0.034	0.923
Length prediction Q	1.64	0.040	0.939

• 提案された Q-augmented デコーディングは、複数の生成タスクで標準のビームサーチより改善を示す。
• 対話における長さ制御では、短いシーケンスの偏りを減らし、標準のビームサーチより整合性の高い出力を生み出す； lambda が大きいほど多様性は高まるが、過大だと関連性が低下する可能性がある。
• MI の場合、将来予測アプローチは、特に長いターゲットに対して、後置の MMI 再ランク付けより上回ることがあり、デコード初期段階で多様な仮説を維持できる。
• BLEU/ROUGE の最適化では、将来の結果関数が訓練と推定時の目的を整合させ、SE-SEQ2SEQ with beam search のベースラインに対して測定可能な改善を与える。
• タスクを横断して、方法は一貫した利得を提供し、 extensive な RL 学習を伴わずに望ましい特性にデコーダを適応する単純で汎用的な方法を提供する。