[論文レビュー] A Diversity-Promoting Objective Function for Neural Conversation Models

Jiwei Li, Michel Galley+3 more|arXiv (Cornell University)|Oct 11, 2015

Topic Modeling参考文献 36被引用数 253

ひとこと要約

本稿では、従来の尤度最大化に代わって、多様性と品質を向上させる目的関数として最大相互情報量（MMI）を提案する。入力と出力の間の相互依存性を最適化することで、'よくわからない'などの一般的な応答が減少し、より多様で文脈的に適切な出力を得られる。2つのデータセットにおいてBLEUスコアと人間評価の両面で顕著な向上を達成した。

ABSTRACT

Sequence-to-sequence neural network models for generation of conversational responses tend to generate safe, commonplace responses (e.g., "I don't know") regardless of the input. We suggest that the traditional objective function, i.e., the likelihood of output (response) given input (message) is unsuited to response generation tasks. Instead we propose using Maximum Mutual Information (MMI) as the objective function in neural models. Experimental results demonstrate that the proposed MMI models produce more diverse, interesting, and appropriate responses, yielding substantive gains in BLEU scores on two conversational datasets and in human evaluations.

研究の動機と目的

• 入力文脈に関係なく'よくわからない'のような過度に一般的で繰り返しの多い応答を生成する神経対話モデルの問題に対処すること。
• 従来の尤度ベースの学習を最大相互情報量（MMI）に置き換えることで、応答の多様性と関連性が向上するかどうかを調査すること。
• エンドツーエンドの応答生成を可能にする、シーケンス・トゥ・シーケンス神経モデルへのMMIの実装を構築すること。
• MMIが自動評価指標（BLEU）および人間による応答品質と多様性の評価に与える影響を評価すること。
• MMIベースのモデルが、標準の尤度学習モデルと比較して、より文脈的に適切で意味的に豊かで、重複の少ない応答を生成できることを示すこと。

提案手法

• 標準の尤度目的関数（P(応答|入力)）を、入力と出力シーケンス間の相互依存性を最大化する最大相互情報量（MMI）に置き換える。
• MMI目的関数を log P(入力|応答) - log P(入力) として定式化し、入力に対して尤もらしく、かつそれについての情報を含む応答を促進する。
• 文脈モデリングの向上を図るため、双方向エンコーダとアテンションメカニズムを備えたLSTMベースのシーケンス・トゥ・シーケンスモデルにMMI目的関数を実装する。
• 推論時に再ランク付け戦略を用いてMMI目的関数を近似し、相互情報量スコアを最大化する応答を選択する。
• 高尤もらしさだが情報量の少ない出力を抑制するために、反言語モデル（anti-LM）を統合する。
• MMI目的関数を用いて確率的勾配降下法でエンドツーエンド学習を行い、入力-応答の整合性の共同最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 標準の尤度目的関数を最大相互情報量（MMI）に置き換えることで、神経対話モデルにおける一般的で繰り返しの多い応答の生成が減少するか。
• RQ2 MMI目的関数は、標準の尤度学習と比較して、応答の多様性と関連性が向上するか。
• RQ3 MMI目的関数は、BLEUなどの自動評価指標および人間による品質スコアにどの程度向上をもたらすか。
• RQ4 自動評価および人間評価の両方において、MMIモデルはSMTやRNNベースの再ランク付けシステムを含む強力なベースラインと比較してどの程度優れているか。
• RQ5 MMI目的関数は、学習安定性や推論速度に悪影響を及げることなく、エンドツーエンドの神経シーケンス・トゥ・シーケンスモデルに効果的に適応可能か。

主な発見

• MMI-bidiモデルは、標準の尤度ベースモデルが頻繁に生成する'よくわからない'のような一般的な応答の割合を顕著に低減した。
• OpenSubtitlesデータセットではベースラインSeq2Seqモデル比で1.5 BLEUポイントの向上を達成し、Twitterデータセットでは1.2 BLEUポイントの向上を示した。
• 人間評価では、MMI-bidiはベースラインSeq2Seqおよびグリーディデコードモデルを上回り、MMI応答の優位性が統計的に有意であった（p < 0.05）。
• MMI-bidi出力の平均人間評価スコアは5段階中3.84であり、文脈的適切さと高品質な応答が強く認識された。
• N-bestリストの比較から、MMI出力は文脈に特化した、意味的に多様な応答を生成しており、冗長性が低く、情報量が多いことが示された。
• 反言語モデル（anti-LM）部は、頻度が高く情報量の少ない応答をさらに抑制し、滑らかさや一貫性を損なわずに多様性を向上させた。