[論文レビュー] Learning to Ask Questions in Open-domain Conversational Systems with Typed Decoders

Yansen Wang, Chenyi Liu+2 more|arXiv (Cornell University)|May 13, 2018

Topic Modeling参考文献 27被引用数 7

ひとこと要約

本稿では、3種類の語のタイプ（疑問詞、トピック語、通常語）をモデル化することで、オープンドメイン対話システムにおいて多様でトピックに関連する質問を生成するための型付きデコーダー（Soft Typed Decoder: STD、Hard Typed Decoder: HTD）を提案する。この手法は、質問パターンとトピック遷移を明示的に制御することで質問の質を向上させ、より意味的で対話的な質問を生成する点で、最先端のベースラインを上回る。

ABSTRACT

Asking good questions in large-scale, open-domain conversational systems is quite significant yet rather untouched. This task, substantially different from traditional question generation, requires to question not only with various patterns but also on diverse and relevant topics. We observe that a good question is a natural composition of {\it interrogatives}, {\it topic words}, and {\it ordinary words}. Interrogatives lexicalize the pattern of questioning, topic words address the key information for topic transition in dialogue, and ordinary words play syntactical and grammatical roles in making a natural sentence. We devise two typed decoders ( extit{soft typed decoder} and extit{hard typed decoder}) in which a type distribution over the three types is estimated and used to modulate the final generation distribution. Extensive experiments show that the typed decoders outperform state-of-the-art baselines and can generate more meaningful questions.

研究の動機と目的

• 既存の手法が回答に注目したタスクに特化しているのに対し、能動的でトピックに多様性のある質問生成に焦点を当てた、オープンドメイン対話システムにおける質問生成のギャップを埋める。
• 良い質問の構成的性質を、疑問詞（質問パターン）、トピック語（トピック遷移のため）、通常語（文法的構造のため）の混合としてモデル化する。
• 生成中に語のタイプ分布を明示的に制御できるデコーダーを開発し、質問の多様性と関連性を向上させる。
• 対話システムが、新しいが関連性のあるトピックを導入することで、より深く持続的な対話を促す質問を生成できるようにする。

提案手法

• 事前学習済みのPMIに基づくトピック語検出手法を用いて、語を3種類のタイプに分類する：疑問詞（例：だれ、なに）、トピック語（例：うさぎ、ディナー）、通常語（例：あなた、好き）。
• ソフト型デコーダー（STD）はタイプ分布を推定し、タイプ固有の生成ヘッドの重み付き混合として最終的な語分布を生成する。
• ハード型デコーダー（HTD）はGumbel-softmaxを用いて各デコーディングステップで離散的な語タイプをサンプリングし、それに応じて生成分布を調整する。
• タイプ分布は別途設けたタイプ予測ヘッドによって推定され、交差エントロピー損失を用いたエンドツーエンド学習が可能となる。
• フレームワークは、対話的質問生成データセットで学習され、タイプに配慮したアテンションと生成がデコーディングをガイドする。
• 両デコーダーは、BLEU、ROUGE、および質問の質とトピック関連性に関する人間によるアノテーションを含む、自動評価と人間評価の両方で最先端のベースラインと比較評価される。

実験結果

リサーチクエスチョン

• RQ1 ニューラル質問生成モデルは、入力の言い換えにとどまらず、オープンドメイン対話システムで多様でトピックに関連する質問を生成するために、どのように適合可能か？
• RQ2 疑問詞、トピック語、通常語といった語のタイプをモデル化することで、生成された質問の多様性と関連性はどの程度向上するか？
• RQ3 デコーディング中に語のタイプ分布を明示的に制御することで、質問の質が向上し、対話の持続性が高まるか？
• RQ4 生成品質と頑健性の観点から、ソフト型とハード型のタイプモデリング戦略は、どのように比較されるか？

主な発見

• 提案された型付きデコーダー、特にHTDは、BLEUやROUGEなどの自動評価指標で最先端のベースラインを上回り、より自然で関連性の高い質問を生成していることが示された。
• 人間評価では、HTDが生成する質問が有意に意味的で対話的であり、トピック関連性が高く、質問パターンも優れていることが確認された。
• 誤差解析の結果、主な失敗要因はトピック語の欠落（STDでは34%、HTDでは29%）と誤ったトピック選択（STDでは34%、HTDでは39%）であり、トピック語予測における課題が示された。
• 可視化により、モデルが正しいタイプを適切な位置に割り当てていることが確認された（例：通常語を文頭に、トピック語を中央に、疑問詞を文末に）。これにより、タイプ制御が効果的に学習されていることが示された。
• この手法は、単なる言い換えではなく、新しいが文脈的に関連するトピックを導入する質問を生成でき、対話の持続性を高めることに成功した。
• 型付きデコーダーのフレームワークは汎用的であり、語の意味的タイプを特定可能な他の生成タスク（例：感情的テキスト生成）にも応用可能である。