[論文レビュー] TopicRefine: Joint Topic Prediction and Dialogue Response Generation for Multi-turn End-to-End Dialogue System

Hongru Wang, Mingyu Cui+3 more|arXiv (Cornell University)|Sep 11, 2021

Topic Modeling参考文献 43被引用数 7

ひとこと要約

本稿では、3段階の反復的メカニズムを用いて対話履歴からトピックを逐次予測し、応答を精錬する共同フレームワークTopicRefineを提案する。GPT-2を適切に微調整することで、MedDGおよびTG-ReDialデータセットで最先端の性能を達成し、トピックに配慮した対話におけるGPT-2の潜在的性能を示している。

ABSTRACT

A multi-turn dialogue always follows a specific topic thread, and topic shift at the discourse level occurs naturally as the conversation progresses, necessitating the model's ability to capture different topics and generate topic-aware responses. Previous research has either predicted the topic first and then generated the relevant response, or simply applied the attention mechanism to all topics, ignoring the joint distribution of the topic prediction and response generation models and resulting in uncontrollable and unrelated responses. In this paper, we propose a joint framework with a topic refinement mechanism to learn these two tasks simultaneously. Specifically, we design a three-pass iteration mechanism to generate coarse response first, then predict corresponding topics, and finally generate refined response conditioned on predicted topics. Moreover, we utilize GPT2DoubleHeads and BERT for the topic prediction task respectively, aiming to investigate the effects of joint learning and the understanding ability of GPT model. Experimental results demonstrate that our proposed framework achieves new state-of-the-art performance at response generation task and the great potential understanding capability of GPT model.

研究の動機と目的

• マルチターンエンドツーエンド対話システムにおける、トピックに配慮した、一貫性があり情報豊かな応答を生成する課題に対処すること。
• 従来の手法がトピック予測と応答生成を別々に処理するか、すべてのトピックに対するアテンションに依存するが、それらの分布を統合的にモデル化しないという限界を克服すること。
• 予測されたトピックに基づいて応答を精錬する3段階の反復的フレームワークを設計し、応答の関連性と情報性を向上させること。
• GPT-2およびBERTをバックボーンモデルとして用い、トピック予測と応答生成の共同学習の有効性を評価すること。
• BERTと比較して、GPT-2がトピックに配慮した対話生成において、どの程度の理解能力を有しているかを調査すること。

提案手法

• フレームワークは3段階の反復的メカニズムを採用する：まず対話履歴から粗い応答を生成し、次に粗い応答を用いてトピックを予測し、最後に履歴と予測されたトピックを条件として精錬された応答を生成する。
• トピック予測にはGPT2DoubleHeadsまたはBERTを用い、トピックと応答生成のエンドツーエンド共同学習を可能にする。
• 応答生成、トピック予測、精錬の3つの目的を同時に最適化し、トピックと応答生成の間の結合分布を強制する。
• 精錬ステップでは、最終的な応答生成を履歴の対話文脈と予測されたトピックベクトルの両方の条件に依存させ、トピックの一貫性を向上させる。
• 自己回帰的言語モデリングと条件付きデコードを用いるアーキテクチャで、予測されたトピックを応答生成中に文脈として統合する。
• 除去実験により、3段階のメカニズムと共同学習目的関数の有効性が確認され、応答品質とトピック関連性の向上が裏付けられた。

実験結果

リサーチクエスチョン

• RQ1 トピック予測と応答生成の共同学習は、マルチターン対話応答の一貫性と情報性を向上させることができるか？
• RQ2 3段階の反復的精錬メカニズムは、単一段階またはパイプライン的手法に比べ、トピックに配慮した応答生成において優れているか？
• RQ3 GPT-2とBERTの間で、トピック予測と対話生成タスクにおける理解能力に差は認められるか？
• RQ4 独立的またはアテンションベースのアプローチと比較して、トピックと応答生成の結合分布がモデル性能にどの程度寄与するか？
• RQ5 トピック精錬メカニズムは、オープンドメイン対話システムにおける応答の繰り返しを軽減し、流暢さとトピック関連性を向上させることができるか？

主な発見

• 提案されたTopicRefineフレームワークは、マルチターン対話応答生成においてMedDGおよびTG-ReDialの両データセットで新たなSOTA性能を達成した。
• ステージ2（GPT）モデルは、ステージ1（GPT）モデルおよびベースラインモデルを上回り、自動評価および人的評価の両方で流暢さと情報性において優れた性能を示した。
• 人的評価では、ステージ2（GPT）モデルが情報性および流暢さの両基準でベースラインを上回るスコアを獲得し、応答品質に顕著な向上が認められた。
• MedDGデータセットにおいて、BERTはGPT-2（F1: 14.88）よりも顕著に優れたトピック予測性能（F1: 20.13）を示し、BERTの初期理解能力の優位性を示している。
• F1スコアが低くても、TG-ReDialデータセットではGPT-2がBERTと同等の性能（Hit@3: 0.7931 vs. 0.8023）を達成しており、適切に微調整された場合のGPT-2の潜在的性能が示唆された。
• 除去実験により、3段階の精錬メカニズムがトピックに配慮した精錬を可能にし、共同学習の有効性が裏付けられた。