[論文レビュー] Neural Response Generation with Dynamic Vocabularies

Yu Wu, Wei Wu+4 more|arXiv (Cornell University)|Nov 30, 2017

Topic Modeling被引用数 50

ひとこと要約

要約: 本論文は DVS2S を提案する。オープンドメインのチャット向けの動的語彙シーケンス対シーケンスモデルで、入力ごとに語彙と応答を共同学習し、品質とデコード効率を向上させる。

ABSTRACT

We study response generation for open domain conversation in chatbots. Existing methods assume that words in responses are generated from an identical vocabulary regardless of their inputs, which not only makes them vulnerable to generic patterns and irrelevant noise, but also causes a high cost in decoding. We propose a dynamic vocabulary sequence-to-sequence (DVS2S) model which allows each input to possess their own vocabulary in decoding. In training, vocabulary construction and response generation are jointly learned by maximizing a lower bound of the true objective with a Monte Carlo sampling method. In inference, the model dynamically allocates a small vocabulary for an input with the word prediction model, and conducts decoding only with the small vocabulary. Because of the dynamic vocabulary mechanism, DVS2S eludes many generic patterns and irrelevant words in generation, and enjoys efficient decoding at the same time. Experimental results on both automatic metrics and human annotations show that DVS2S can significantly outperform state-of-the-art methods in terms of response quality, but only requires 60% decoding time compared to the most efficient baseline.

研究の動機と目的

• 固定デコード語彙を放棄して入力特有の語彙を採用することによりノイズと一般的な応答を低減する動機づけ。
• 動的語彙 S2S フレームワークを提案し、語彙構築と応答生成を共同学習する。
• 動的語彙が大規模対話データで応答品質を向上させ、デコード時間を短縮することを示す。

提案手法

• 入力を biGRU ベースのエンコーダでエンコードして隠れ表現を取得する。
• 各入力に対して、入力に条件付けられた多変量Bernoulli分布からターゲット語彙 T をサンプルする。
• 注意機構を用いたデコーダと T 上への射影で、選択された語彙 T のみを用いて応答をデコードする。
• 訓練を変分下界を最大化する形で定式化し、T を S 回のサンプルでモンテカルロサンプリングして最適化する。
• 語彙を関数語（常時含まれる）と内容語（βパラメータはエンコーダ状態に依存）に分割する。
• 語彙選択と応答生成を共同で学習し、デコードがより小さく関連性の高い語彙を使用するようにする。

実験結果

リサーチクエスチョン

• RQ1 入力ごとの動的語彙はオープンドメインの応答の関連性と情報量を改善できるか。
• RQ2 語彙構築と応答生成の共同学習は、別個のトレーニングより良い性能をもたらすか。
• RQ3 動的語彙サイズが応答品質とデコード効率に与える影響は何か。

主な発見

モデル	BLEU-1	BLEU-2	BLEU-3	平均	Extrema	Greedy	Distinct-1	Distinct-2
S2SA	4.96	1.96	0.81	25.32	11.70	24.73	0.091	0.207
S2SA-MMI	5.82	1.47	0.70	27.16	14.96	25.89	0.151	0.378
TA-S2S	6.26	2.11	0.98	27.92	15.86	26.29	0.161	0.401
CVAE	6.33	1.86	0.55	28.92	15.01	26.13	0.143	0.346
S-DVS2S	8.01	2.94	0.93	32.41	20.15	29.89	0.221	0.601
DVS2S	9.89	3.51	1.33	34.05	22.72	31.61	0.233	0.632

• DVS2S は BLEU-1、Embedding Average、Distinct-1 などの自動評価指標でベースラインより有意に上回る。
• DVS2S は Distinct-1 および Distinct-2 が高く、より多様で情報豊かな応答を示す。
• 人間評価でも DVS2S がベースラインより情報量が多く、無効な語が少ない。
• DVS2S は同設定の最も効率的なベースラインと比較して約 40% のデコード時間を削減する。
• 上位の内容語語彙約 1,000語で、テスト応答の真の語彙の約 80% をカバーする。
• 語彙構築と応答生成の共同学習は、別々にトレーニングされた variants より改善をもたらす（S-DVS2S）。