[論文レビュー] Conversations Are Not Flat: Modeling the Dynamic Information Flow across Dialogue Utterances

Zekang Li, Jinchao Zhang+3 more|arXiv (Cornell University)|Jun 4, 2021

Topic Modeling参考文献 22被引用数 5

ひとこと要約

本稿では、文脈遷移を通じた意味的影響をモデル化することで、発話間を貫く動的情報フローを捉える新しい対話モデルDialoFlowを提案する。DialoGPTを上回る応答生成性能を発揮し、人間の評価と0.9の対話ボットレベル相関を示す参照なし自動評価指標「Flowスコア」を導入する。

ABSTRACT

Nowadays, open-domain dialogue models can generate acceptable responses according to the historical context based on the large-scale pre-trained language models. However, they generally concatenate the dialogue history directly as the model input to predict the response, which we named as the flat pattern and ignores the dynamic information flow across dialogue utterances. In this work, we propose the DialoFlow model, in which we introduce a dynamic flow mechanism to model the context flow, and design three training objectives to capture the information dynamics across dialogue utterances by addressing the semantic influence brought about by each utterance in large-scale pre-training. Experiments on the multi-reference Reddit Dataset and DailyDialog Dataset demonstrate that our DialoFlow significantly outperforms the DialoGPT on the dialogue generation task. Besides, we propose the Flow score, an effective automatic metric for evaluating interactive human-bot conversation quality based on the pre-trained DialoFlow, which presents high chatbot-level correlation ($r=0.9$) with human ratings among 11 chatbots. Code and pre-trained models will be public. \footnote{\url{https://github.com/ictnlp/DialoFlow}}

研究の動機と目的

• 対話履歴のフラットな連結による制限を解消し、発話間の動的情報フローを無視する問題に対処すること。
• 各発話が変化する対話文脈に与える意味的影響を捉える手法を開発すること。
• 対話生成の向上を図るため、文脈フローと意味的影響をモデル化する事前学習フレームワークを設計すること。
• 人間の判断と高い相関を示す、参照なしの自動評価指標（Flowスコア）を提案すること。

提案手法

• 発話間を貫く動的文脈フローをモデル化する一方向のFlowモジュールを導入する。
• 意味的影響を連続する文脈表現の差分として定義し、各発話が全体的な対話文脈にどのように影響を与えるかを捉える。
• 3つの学習目的を設計する：(1) 文脈フローのモデル化によりフロー構造を学習、(2) 意味的影響のモデル化により影響を予測、(3) 予測された影響に基づく応答生成。
• 大規模なRedditコメントデータを用いてDialoFlowモデルを事前学習し、豊富な対話ダイナミクスを学習する。
• 事前学習済みのDialoFlowを用いてFlowスコアを計算し、対話内の意味的影響の一貫性を測るパープレキシティベースの指標とする。

実験結果

リサーチクエスチョン

• RQ1 フラットな連結を超えて、発話間を貫く動的情報フローをどのようにモデル化できるか？
• RQ2 意味的影響をモデル化することで、オープンドメイン対話システムにおける応答生成品質を向上させられるか？
• RQ3 動的文脈フローに基づく自動的・参照なし評価指標は、人間の判断と強く相関するか？
• RQ4 提案されたFlowスコアは、既存の自動評価指標と比較して、対話的品質をどれほど正確に捉えられるか？

主な発見

• DialoFlowは、RedditマルチリファレンスデータセットおよびDailyDialogデータセットの両方で、DialoGPTを著しく上回る対話生成性能を示した。
• 提案されたFlowスコアは、11体のチャットボットにおいて人間の評価と相関係数r = 0.9を達成し、人間の判断と強い整合性を示した。
• 共通のリファレンスコメントのない人間-ボット対話においてもFlowスコアは良好に機能し、このような状況下でFEDスコアを上回った。
• T-SNE可視化により、DialoFlowがトピックのシフトや発話者固有の文脈フローを的確に捉えていることが確認され、動的意味的遷移をモデル化する能力が裏付けられた。
• モデルは文脈フローと意味的影響を効果的に学習し、動的文脈モデリングを通じてより優れた応答生成を実現した。