[論文レビュー] Incorporating Commonsense Knowledge into Abstractive Dialogue Summarization via Heterogeneous Graph Networks

Xiachong Feng, Xiaocheng Feng+2 more|arXiv (Cornell University)|Oct 20, 2020

Topic Modeling参考文献 30被引用数 23

ひとこと要約

本稿では、会話文、発話者、およびConceptNetからの共通知識を統合した統一された非均質的グラフに統合することで、要約生成型会話要約の性能を向上させる対話非均質的グラフネットワーク（D-HGN）を提案する。これらの要素を特別なメッセージ統合およびノード埋め込みモジュールを備えた別個のノードタイプとしてモデル化することにより、D-HGNはSAMSumで最先端の性能を達成し、ADSCのような未学習ドメインに対しても効果的に一般化することを示した。これは、会話理解における構造的共通知識の価値を裏付ける。

ABSTRACT

Abstractive dialogue summarization is the task of capturing the highlights of a dialogue and rewriting them into a concise version. In this paper, we present a novel multi-speaker dialogue summarizer to demonstrate how large-scale commonsense knowledge can facilitate dialogue understanding and summary generation. In detail, we consider utterance and commonsense knowledge as two different types of data and design a Dialogue Heterogeneous Graph Network (D-HGN) for modeling both information. Meanwhile, we also add speakers as heterogeneous nodes to facilitate information flow. Experimental results on the SAMSum dataset show that our model can outperform various methods. We also conduct zero-shot setting experiments on the Argumentative Dialogue Summary Corpus, the results show that our model can better generalized to the new domain.

研究の動機と目的

• 既存の会話要約モデルが共通知識を無視するという制限を是正すること。これは会話文脈の深い理解を妨げる。
• 大規模な共通知識が、非明示的な意図を捉え、非連続な発話間を橋渡しすることで、要約生成の質を向上させることの可能性を探る。
• 会話文、発話者、知識を非均質的ノードとしてグラフにモデル化することで、情報の流れと表現学習を向上させること。
• 新たなドメイン（例：議論的会話）におけるゼロショット設定でのモデルの一般化能力を評価すること。
• 表現学習を強化するための特別なモジュール（メッセージ統合およびノード埋め込み）を設計すること。

提案手法

• 会話文、発話者、ConceptNetからの共通知識の3種類のノードタイプを持つ非均質的会話グラフ（HDG）を構築する。
• 意味的類似性と関係マッチングを用いて、会話文と関連する知識ノードを二部グラフ構築プロセスで接続する。
• 発話者ノードを非均質的実体として導入し、発話者固有の文脈をモデル化し、情報伝搬を改善する。
• 発話者および知識の隣接ノードからのメッセージを統合するモジュールを導入し、会話文の表現を豊かにする。
• 会話文ノードに位置情報と構造的認識を組み込むノード埋め込みモジュールを適用し、会話の順序と文脈を保持する。
• 要約生成のための自己注意機構を備えたエンティティ・トゥ・エンティティフレームワークを用いて、D-HGNモデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 ConceptNetからの共通知識を統合することで、会話要約の質と要約生成の抽象性が向上するか？
• RQ2 発話者を非均質的ノードとしてモデル化することで、会話表現および要約性能にどのような影響を与えるか？
• RQ3 非均質的グラフ構造を用いることで、均質的グラフアプローチに比べて情報統合がより良くなるか？
• RQ4 微調整なしで未学習ドメインに一般化できるか。特に共通知識が使用されている場合に有効か？
• RQ5 モデル内のアテンション重みは、重要な知識および会話文脈をモデルがどのように理解しているかをどのように反映するか？

主な発見

• SAMSumデータセットでは、D-HGNがすべてのベースラインの中で最高のROUGEスコアを達成し、ROUGE-L F1は24.78を記録。次に良いモデルより1.25ポイント高い。
• アブレーションスタディの結果、共通知識を除いた場合（D-HGN(w/o knowledge)）では抽象性が0.78ポイント低下し、深い意味のある要約を生成する上で共通知識の重要性が確認された。
• 発話者ノードを除いた場合（D-HGN(w/o speaker)）では正答性が1.12ポイント低下し、非均質性モデリングの重要性が示された。
• 議論的会話要約コーパス（Argumentative Dialogue Summary Corpus）におけるゼロショット評価では、D-HGNがROUGE-Lスコア22.75を達成し、知識拡張型の均質的グラフモデル即ちそれらを上回った。
• t-SNE可視化により、D-HGNはD-GATよりもより明確で区別可能なノード表現を学習していることが確認され、意味的分離性の向上が示された。
• 事例スタディでは、D-HGNが関連する知識ノード（例：'バースデーパarty'）に適切に注目し、'ケーキ'などの重要な詳細を含む、より形式的かつ情報豊富な要約を生成していることが示された。