[論文レビュー] A Simple, Fast Diverse Decoding Algorithm for Neural Generation

Jiwei Li, Will Monroe+1 more|arXiv (Cornell University)|Nov 25, 2016

Natural Language Processing Techniques参考文献 46被引用数 227

ひとこと要約

多様性を促進するビーム探索を導入し、同階層内の展開をペナルティすることで多様なN-bestリストを生成する。入力ごとに多様性率を適応させるオプションの強化学習要素を含む。

ABSTRACT

In this paper, we propose a simple, fast decoding algorithm that fosters diversity in neural generation. The algorithm modifies the standard beam search algorithm by adding an inter-sibling ranking penalty, favoring choosing hypotheses from diverse parents. We evaluate the proposed model on the tasks of dialogue response generation, abstractive summarization and machine translation. We find that diverse decoding helps across all tasks, especially those for which reranking is needed. We further propose a variation that is capable of automatically adjusting its diversity decoding rates for different inputs using reinforcement learning (RL). We observe a further performance boost from this RL technique. This paper includes material from the unpublished script "Mutual Information and Diverse Decoding Improve Neural Machine Translation" (Li and Jurafsky, 2016).

研究の動機と目的

• 単一の最良仮説だけでは足りない神経生成タスクにおいて、多様な出力の必要性を喚起する。
• 速度を犠牲にせず多様性を高める、単純で高速なデコード変更を提案し、バッチGPUデコードに適した。
• 対話応答生成、要約、機械翻訳の分野で改善を示す。
• 強化学習を用いて入力ごとに多様性率を調整する自動的な手法（DiverseRL）を探る。

提案手法

• 従来のビーム探索を、同階層内の展開をペナルティする多様性項を追加して修正する: Ŝ(Y_{t-1}^{k},y_{t}^{k,k′}|x)=S(Y_{t-1}^{k},y_{t}^{k,k′}|x)−γ k′, where k′ is the rank among siblings and γ is the diversity rate.
• 各ステップでK個の仮説を維持し、修正スコアŜに従って上位K個を選択する。
• フレーズベースのシステムと比較して多様なデコードを高速化するために、GPU上でバッチデコードを有効にする。
• 定義済み集合Γからγ(X)を選択して最終報酬（例：BLEU）を最適化する、 DiverseRL という強化学習ポリシーを用いた拡張。
• 訓練中にエンコーダ–デコーダのパラメータを固定したまま、基準を用いたポリシー勾配（REINFORCE）で γ(X) を学習する。

実験結果

リサーチクエスチョン

• RQ1 標準ビーム探索と比較して、多様性を促進するデコードは、対話、要約、機械翻訳などの神経生成タスクにおける出力品質を向上させるか。
• RQ2 多様性率 γ は性能にどう影響するか、入力ごとに γ を学習するとさらなる向上が得られるか。
• RQ3 再ランキングや多様な正解出力が存在する場合、どのタスクで多様なデコードが最大の利点をもたらすか。

主な発見

設定	従来のビーム探索	多様性	Diverse+RL	Δ 対 従来（Diverse）	Δ 対 従来（Diverse+RL）
5.3.3 WMT'14 English→German	19.8	19.8	20.2	+0.0	+0.4
非再ランキング（縮小）	21.5	22.1	22.4	+0.6	+0.9

• 対話応答生成、要約、機械翻訳の出力を多様なデコードが改善し、特に再ランキングや多様な正解出力が存在する場合に顕著である。
• 固定された多様性率 γ はいくつかのタスクで改善をもたらし、長い出力や再ランキングされた出力でより大きな利得がある。
• DiverseRL は入力ごとに γ(X) を自動調整することで性能をさらに向上させ、いくつかの設定で BLEU/MIRA に似た追加利得を生む。
• 人間の評価は、応答生成において標準ビーム探索より多様なデコードアプローチの出力を支持する。
• 機械翻訳では多様性による利得はより控えめで、ターゲット分布のエントロピーが非常に低いと多様性の影響が限られることを示唆している。