[論文レビュー] GDPNet: Refining Latent Multi-View Graph for Relation Extraction

Fuzhao Xue, Aixin Sun+2 more|arXiv (Cornell University)|Dec 12, 2020

Advanced Text Analysis Techniques被引用数 7

ひとこと要約

GDPNetは、BERTでエンコードされたトークンから潜在的なマルチビュー・グラフを構築し、動的時系列適合プーリング（DTWPool）を用いてそれを精錬することで、指示的語を強調する、グラフベースの関係抽出の新しいアプローチを提案する。これは会話レベルの関係抽出で最先端の性能を達成し、文レベルタスクでも競争力のある結果を示しており、長文における関係を引き起こすキーワードを特定する能力に優れている。

ABSTRACT

Relation Extraction (RE) is to predict the relation type of two entities that are mentioned in a piece of text, e.g., a sentence or a dialogue. When the given text is long, it is challenging to identify indicative words for the relation prediction. Recent advances on RE task are from BERT-based sequence modeling and graph-based modeling of relationships among the tokens in the sequence. In this paper, we propose to construct a latent multi-view graph to capture various possible relationships among tokens. We then refine this graph to select important words for relation prediction. Finally, the representation of the refined graph and the BERT-based sequence representation are concatenated for relation extraction. Specifically, in our proposed GDPNet (Gaussian Dynamic Time Warping Pooling Net), we utilize Gaussian Graph Generator (GGG) to generate edges of the multi-view graph. The graph is then refined by Dynamic Time Warping Pooling (DTWPool). On DialogRE and TACRED, we show that GDPNet achieves the best performance on dialogue-level RE, and comparable performance with the state-of-the-arts on sentence-level RE.

研究の動機と目的

• 長文、特にほとんどが無関係な内容である会話文において、関係を示すキーワードを特定する課題に対処すること。
• 外部のパーサーや手動で設計されたルールに依存せずに、タスク固有のグラフを構築・精錬する汎用的でエンドツーエンドの手法を開発すること。
• グラフ精錬によって、BERTの表現を、情報量の多い少数のトークンに焦点を合わせることで向上させること。
• 特にBERT単体では、無関係な内容によるノイズの影響で性能が低下する長文関係抽出タスク、特に会話レベルのREにおける性能を向上させること。

提案手法

• ノード表現をガウス分布としてモデル化し、KLダイバージェンスを用いてエッジ重みを計算するガウスグラフ生成器（GGG）を用いて、潜在的なマルチビュー・グラフを構築する。
• 入力トークンをBERTでエンコードし、その文脈的表現をグラフ構築のノード特徴として用いる。
• 下限プーリング比とSoftDTW正則化を用いて、動的時系列適合プーリング（DTWPool）を適用し、重要なノードを適応的に選択することでグラフを精錬する。
• 最終的な関係分類のため、精錬されたグラフ表現をBERTの[CLS]表現と連結する。
• グラフ精錬を情報量の多いトークンに導くように、SoftDTW損失を含む組み合わせ損失を用いて、エンドツーエンドでモデルを学習する。
• 複数のビューを用いることで、トークンペア間の非対称的かつ複雑な句構造的・意味的関係を捉える。

実験結果

リサーチクエスチョン

• RQ1 潜在的なマルチビュー・グラフは、関係抽出のための長文における、複雑で非対称的なトークン間関係を効果的にモデル化できるか？
• RQ2 DTWPoolによるグラフ精錬は、ノイズが多いまたは長い文脈において関係を引き起こす語の特定を改善するか？
• RQ3 GDPNetは、外部パーサーに依存するBERTベースのモデルやグラフベースのモデルと比較して、会話レベルの関係抽出でどのように性能を発揮するか？
• RQ4 長文の会話において、DTWPoolは反復的なトークンよりも、非反復的で情報量の多いトークンをどれほど優先するか？
• RQ5 グラフベースの精錬メカニズムは、標準のBERTやGCNベースのモデルよりも、長文関係抽出タスクで優れた性能を発揮できるか？

主な発見

• GDPNetは、DialogREデータセットで最高のF1スコアを達成し、会話レベルの関係抽出において、BERTベースのモデルや他の最先端手法を顕著に上回った。
• TACREDでは、最先端のモデルと同等の性能を達成し、異なるシーケンス長にわたる強力な一般化能力を示した。
• DTWPoolは、全トークンの15.6％しか選択していないにもかかわらず、手動でアノテートされたトリガー語の32.1％を抽出した。これは、関係を示す語の特定において高い正確性を示している。
• モデルは反復的でないトークンの割合を反復的でないものよりも高く選択しており、情報量が多く文脈的に関連する語に焦点を当てていることを確認した。
• SoftDTW損失は、シーケンス長が短いため、TACREDではDialogREよりも効果的であり、高い保持率と低い損失が得られた。
• 外部知識を用いていないにもかかわらず、GDPNetはTACRED-RevisitでKnowBERTをF1スコアでほぼ1ポイント上回り、自己教師付きのグラフ精錬の有効性を示した。