[論文レビュー] Dialogue Relation Extraction with Document-level Heterogeneous Graph Attention Networks

Hui Chen, Pengfei Hong+3 more|arXiv (Cornell University)|Sep 10, 2020

Topic Modeling被引用数 13

ひとこと要約

本稿では、会話関係抽出のための異種グラフ自己注意ネットワーク（HGAT）を提案する。このモデルは、統一されたグラフ構造内で発話者、エンティティ、発話、タイプの情報を統合的にモデル化する。異種ノードを横断するマルチホップメッセージパッシングを活用することで、長距離依存関係と発話者間関係を捉え、DialogREベンチマークでテストセットで56.1%のマクロ-F1を達成し、最先端の性能を実現した。

ABSTRACT

Dialogue relation extraction (DRE) aims to detect the relation between two entities mentioned in a multi-party dialogue. It plays an important role in constructing knowledge graphs from conversational data increasingly abundant on the internet and facilitating intelligent dialogue system development. The prior methods of DRE do not meaningfully leverage speaker information-they just prepend the utterances with the respective speaker names. Thus, they fail to model the crucial inter-speaker relations that may give additional context to relevant argument entities through pronouns and triggers. We, however, present a graph attention network-based method for DRE where a graph, that contains meaningfully connected speaker, entity, entity-type, and utterance nodes, is constructed. This graph is fed to a graph attention network for context propagation among relevant nodes, which effectively captures the dialogue context. We empirically show that this graph-based approach quite effectively captures the relations between different entity pairs in a dialogue as it outperforms the state-of-the-art approaches by a significant margin on the benchmark dataset DialogRE. Our code is released at: https://github.com/declare-lab/dialog-HGAT

研究の動機と目的

• 従来の会話関係抽出手法が発話者情報を十分に活用せず、発話者間関係をモデル化できないという限界を解消すること。
• 形式文書よりも複雑に絡み合い、情報が疎である会話的テキストにおける長距離依存関係学習を改善すること。
• 高価な行列演算を伴わず、未観測の会話グラフに一般化できる、インダクティブで軽量なグラフニューラルネットワークを開発すること。
• マルチパーティ会話における関係推論のためのキースイッチとしての発話者IDとトリガー語を統合すること。

提案手法

• 発話者、エンティティ、エンティティタイプ、発話をノードとして含み、意味的・文法的関係で接続された異種グラフを構築する。
• 発話 → タイプ → エンティティ → 発話という特定のメタパス順序に従い、異なるノードタイプ間で文脈を伝達する多層グラフ自己注意機構を適用する。
• ノード表現を段階的に更新するための五層構造のメッセージパッシング戦略（A-B-C-D-A）を用い、長距離文脈学習を強化する。
• メッセージパッシング中に隣接ノードの重要性を動的に重みづけするための注目メカニズムを活用し、表現学習を向上させる。
• インダクティブで高価な行列演算を回避する異種グラフモジュールを設計し、未観測のグラフへの一般化を可能にする。

Figure 1: An example adapted from DialogRE dataset. Words with red and blue background represent subject and object entities. Words with yellow background represent triggers that facilitate the relation inference. Solid and dash lines stand for intra- and inter-utterance relations.

実験結果

リサーチクエスチョン

• RQ1 発話者情報を会話関係抽出において効果的にモデル化することで、関係推論をどのように向上させられるか？
• RQ2 多様なノードタイプ間での伝播を持つ異種グラフニューラルネットワークは、既存手法を上回る性能を発揮できるか？
• RQ3 会話における長距離依存関係を捉えるために、メッセージパッシング機構の最適な深さと構造は何か？
• RQ4 エンティティタイプバイアスがモデル予測に与える影響は何か？そして、マルチソースの文脈集約によってこれを軽減できるか？

主な発見

• 提案されたHGATモデルは、DialogREベンチマークのテストセットで56.1%のマクロ-F1スコアを達成し、最先端手法を顕著に上回った。
• アブレーションスタディの結果、1層のグラフモジュールは性能が低く（F1: 48.4%）、複雑な依存関係を捉えるためにより深いメッセージパッシングが不可欠であることが示された。
• 7層のモジュール（戦略2）は、5層モデルと比較してテストセットで1.7%の性能低下を示し、深さの増加が過剰平滑化を引き起こす可能性があることを示唆した。
• 9層のモジュール（戦略3）は最大の性能低下（F1: 52.2%）を示し、過度に複雑な構造がモデル性能を劣化させることを確認した。
• 誤差解析から、エンティティタイプバイアスが、特に「per:alumni」のようなレアな関係において、他の文脈的シグナルが弱い場合に誤った予測を引き起こすことが判明した。

Figure 2: An overview of the proposed model.