[論文レビュー] Discovering Dialog Structure Graph for Open-Domain Dialog Generation

Jun Xu, Zeyang Lei+5 more|arXiv (Cornell University)|Dec 31, 2020

Topic Modeling参考文献 40被引用数 6

ひとこと要約

本稿では、オープンドメインの雑談コーパスから階層的で人間が読み取りやすい対話構造グラフを発見するため、グラフニューラルネットワークを統合した離散的変分オートエンコーダー、DVAE-GNNを提案する。GNNを用いたセッションレベルの意味的精錬と、スケーラブルな発話レベルの意味表現を実現するフレーズ結合メカニズムを統合することで、マルチターン対話の整合性と関与度を顕著に向上させる二層構造の有向グラフを発見する。

ABSTRACT

Learning interpretable dialog structure from human-human dialogs yields basic insights into the structure of conversation, and also provides background knowledge to facilitate dialog generation. In this paper, we conduct unsupervised discovery of dialog structure from chitchat corpora, and then leverage it to facilitate dialog generation in downstream systems. To this end, we present a Discrete Variational Auto-Encoder with Graph Neural Network (DVAE-GNN), to discover a unified human-readable dialog structure. The structure is a two-layer directed graph that contains session-level semantics in the upper-layer vertices, utterance-level semantics in the lower-layer vertices, and edges among these semantic vertices. In particular, we integrate GNN into DVAE to fine-tune utterance-level semantics for more effective recognition of session-level semantic vertex. Furthermore, to alleviate the difficulty of discovering a large number of utterance-level semantics, we design a coupling mechanism that binds each utterance-level semantic vertex with a distinct phrase to provide prior semantics. Experimental results on two benchmark corpora confirm that DVAE-GNN can discover meaningful dialog structure, and the use of dialog structure graph as background knowledge can facilitate a graph grounded conversational system to conduct coherent multi-turn dialog generation.

研究の動機と目的

• 手動でのアノテーションを一切用いずに、オープンドメインの対話から解釈可能で階層的な対話構造を自動で発見すること。
• 既存の手法がスケーリングに失敗する、オープンドメイン対話における大規模な発話レベルの意味表現の発見という課題に対処すること。
• セッションレベルと発話レベルの意味表現を統合し、背景知識として利用可能な人間が読み取りやすい二層構造の有向グラフを構築すること。
• 発見された対話構造に根ざした応答生成により、マルチターン対話生成における整合性と関与度を向上させること。

提案手法

• 対話セッションをセッションレベルと発話レベルの意味的頂点に同時にマッピングする、グラフニューラルネットワークを統合した離散的変分オートエンコーダー（DVAE-GNN）を提案する。
• GNNを用いて発話間の情報を集約することで発話レベル表現を精錬し、セッションレベルの意味認識を向上させる。
• 各発話レベルの意味的頂点をコーパス内の明確なフレーズに束縛する結合メカニズムを導入し、学習の複雑さを低減するとともに、100万を超える意味的頂点の発見を可能にする。
• 認識ネットワークを用いて対話セッションを意味的頂点にマッピングし、再構成ネットワークを用いてこれらの頂点から対話セッションを再生成することで、VAEの目的関数を模倣する。
• 複数の対話セッションにわたるマッピングされた意味的頂点の共起統計を集計することで、統合された対話構造グラフを構築する。
• 発見されたグラフをグラフに基づく会話システム（GCS）の背景知識として活用し、一貫性がありマルチターンの応答生成をガイドする。

実験結果

リサーチクエスチョン

• RQ1 教師なしモデルは、オープンドメイン対話においてセッションレベルの目的と発話レベルの意味を捉える意味的で階層的な対話構造を発見できるか？
• RQ2 変分オートエンコーディングフレームワーク内において、GNNは発話レベル表現からセッションレベルの意味認識をどのように向上させるか？
• RQ3 意味的頂点を明確なフレーズに束縛する結合メカニズムは、大規模な発話レベルの意味表現のスケーラブルな発見を可能にするか？
• RQ4 発見された対話構造グラフは、マルチターンオープンドメイン対話生成における整合性と関与度をどの程度向上させるか？

主な発見

• DVAE-GNNは、オープンドメインの雑談コーパスから人間が読み取りやすい二層構造の有向対話構造グラフを効果的に発見し、セッションレベルと発話レベルの意味を含む。
• DVAE-GNNにおけるGNNの使用は、セッションレベルの意味認識を顕著に向上させ、より正確な構造発見を実現した。
• 結合メカニズムにより、フレーズベースの事前知識を提供することで、100万を超える発話レベルの意味的頂点の効果的発見が可能となった。
• グラフに基づく会話システム（GCS）は、すべてのベースラインを上回り、マルチターンの整合性、関与度、情報量において優れた性能を示した。符号検定のp値はいずれも0.01未満であった。
• アブレーションスタディの結果、セッションレベルの頂点を削除すると整合性と関与度が低下し、階層的構造の必要性が裏付けられた。
• 人的評価では中程度のアノテーター間一致度（kappa > 0.4）が得られ、評価指標および主な発見の信頼性が妥当であることが検証された。