[論文レビュー] Sequence to Backward and Forward Sequences: A Content-Introducing Approach to Generative Short-Text Conversation

Lili Mou, Yiping Song+4 more|arXiv (Cornell University)|Jul 4, 2016

Topic Modeling参考文献 25被引用数 191

ひとこと要約

本論文は、生成系ショートテキスト対話の内容導入アプローチを提案し、PMIによりキーワードを予測し、キーワードの周りで前方・後方のシーケンスを構築するseq2BFモデルを用いて返信を生成する。

ABSTRACT

Using neural networks to generate replies in human-computer dialogue systems is attracting increasing attention over the past few years. However, the performance is not satisfactory: the neural network tends to generate safe, universally relevant replies which carry little meaning. In this paper, we propose a content-introducing approach to neural network-based generative dialogue systems. We first use pointwise mutual information (PMI) to predict a noun as a keyword, reflecting the main gist of the reply. We then propose seq2BF, a "sequence to backward and forward sequences" model, which generates a reply containing the given keyword. Experimental results show that our approach significantly outperforms traditional sequence-to-sequence models in terms of human evaluation and the entropy measure, and that the predicted keyword can appear at an appropriate position in the reply.

研究の動機と目的

• ニューラル対話システムにおける普遍的で味気ない返答を克服する必要性を動機づける。
• 二段階アプローチを提案: (i) PMIによるキーワード（名詞）予測で返信の要旨を捉える, (ii) キーワードを含む流暢な返信を生成するためのseq2BF。
• 内容キーワードを組み込むことで人間評価と情報量が従来のseq2seqモデルより向上することを示す。

提案手法

• 問詞に対してPMIを用いて返信の名詞キーワードを予測する。
• キーワードを起点に前方と後方のシーケンスを生成することで返信を生成するseq2BFモデルを使用する。
• seq2BFをasyn-B/F変種として、後方と前方の別々のseq2seqコンポーネントを用いる。
• ランダムに分割された返信系列の反転半分を用いて後方生成器を訓練し、制約付き生成を学習する。
• 前方生成器を部分的な返信とキーワードを条件づけられた標準的なseq2seqエンコーダ-デコーダとして訓練する。

実験結果

リサーチクエスチョン

• RQ1 PMIベースのキーワード予測は対話の関連性を高める内容豊富なキーワードを生み出せるか？
• RQ2 seq2BF機構は予測キーワードを任意の位置に出現させつつ流暢さを維持できるか？
• RQ3 内容導入型のseq2BFモデルは人間評価とエントロピーベースの指標で純粋なseq2seqモデルおよび非内容導入のseq2BFモデルより優れるか？

主な発見

• Content-introducing seq2BF yields higher pointwise human evaluation scores than seq2seq and seq2BF without keyword content introduction.
• seq2BF with content introduction increases entropy of replies by about 30% relative to seq2BF without keywords, reflecting richer information.
• The keyword-containing seq2BF model longer, more informative replies outperform baselines in pairwise human evaluations.
• Case studies show the keyword can be placed at various positions in the reply without sacrificing fluency.
• Intrinsic metrics indicate seq2BF+ produces richer content (higher entropy) while maintaining reasonable length compared to baselines.