[論文レビュー] Generating More Interesting Responses in Neural Conversation Models with Distributional Constraints

Ashutosh Baheti, Alan Ritter+2 more|arXiv (Cornell University)|Sep 4, 2018

Topic Modeling参考文献 44被引用数 6

ひとこと要約

本稿では、一般的な応答を低減するために分布的制約を組み込んだニューラル会話モデルのデコード目的関数を提案する。トピックと意味的類似性の制約をビームサーチに統合することで、妥当性を損なわずに情報量が多く内容の濃い応答を生成する。人的評価と自動指標による検証で裏付けられている。

ABSTRACT

Neural conversation models tend to generate safe, generic responses for most inputs. This is due to the limitations of likelihood-based decoding objectives in generation tasks with diverse outputs, such as conversation. To address this challenge, we propose a simple yet effective approach for incorporating side information in the form of distributional constraints over the generated responses. We propose two constraints that help generate more content rich responses that are based on a model of syntax and topics (Griffiths et al., 2005) and semantic similarity (Arora et al., 2016). We evaluate our approach against a variety of competitive baselines, using both automatic metrics and human judgments, showing that our proposed approach generates responses that are much less generic without sacrificing plausibility. A working demo of our code can be found at https://github.com/abaheti95/DC-NeuralConversation.

研究の動機と目的

• 最大尤度デコードで学習されたニューラル会話モデルにおいて、一般的で退屈な応答が広く見られる問題に対処すること。
• 分布的制約としての補助情報を取り入れることで、応答の多様性と情報量を向上させること。
• 「私はわかりません」のような高頻度で情報量の少ない語の過剰な依存を減らし、応答の妥当性を維持すること。
• 人的判断と自動指標を用いて、トピックと意味的類似性の制約が応答品質をどのように向上させるかを評価すること。

提案手法

• 条件付き尤度とトピックおよび意味の分布的制約を組み合わせた修正されたデコード目的関数を導入する。
• 入力と応答の両方のトピック分布を推定するためにGriffithsら（2005）のモデルを用い、類似したトピック内容を持つ応答を優遇する。
• Aroraら（2016）の固定次元の文埋め込みを用いて、入力と応答間の意味的類似性を測定する。
• 両方の制約をビームサーチデコードプロセスに追加の項として適用し、入力とトピックおよび意味で一致する仮説を優先する。
• モデルアーキテクチャを変更せずに、左から右へのビームサーチに統合可能な単語レベル要因として制約を実装する。
• 二段階アプローチを採用：まず、大規模な対話データ上で標準的なSeq2Seqモデルを学習する。次に、外部のトピックモデルと埋め込みモデルを用いて制約付きデコードを適用する。

実験結果

リサーチクエスチョン

• RQ1 分布的制約は、応答の妥当性を損なわずに情報量を高めることができるか？
• RQ2 トピックベースの制約と意味的類似性制約は、一般的な応答生成をどれほど効果的に低減できるか？
• RQ3 再訓練を伴わずに、制約付きデコードを標準的なビームサーチに効果的に統合できるか？
• RQ4 トピックと意味的制約を組み合わせることで、ベースライン手法に比べて人的評価での応答品質が向上するか？

主な発見

• 人的評価では、分布的制約を用いて生成された応答が、最大尤度デコードによるものよりも顕著に情報量が多く、一般的でないことが示された。
• 提案手法は、ベースラインモデルと同等の妥当性を維持しながら、より内容の濃い応答を生成した。
• トピックと意味的類似性の制約を組み合わせることで、MMIおよびトピック条件付きベースラインよりも応答品質に顕著な改善が見られた。
• BLEUやdistinct-nスコアなどの自動指標では、生成された応答の多様性と関連性が向上した。
• 本手法は、応答における機能語の優位性を効果的に低減し、意味のある内容語の割合を増加させた。