[論文レビュー] HIN: Hierarchical Inference Network for Document-Level Relation Extraction

Hengzhu Tang, Yanan Cao+5 more|arXiv (Cornell University)|Mar 28, 2020

Topic Modeling参考文献 18被引用数 11

ひとこと要約

この論文では、エンティティ、文、文書の3レベルでマルチスケール推論をモデル化する文書レベル関係抽出のための階層的推論ネットワーク（HIN）を提案する。エンティティレベルの推論に翻訳制約とバイリニア変換を複数の部分空間で適用し、文レベルのマッチングにアテンションを用い、文書レベルの集約に階層的BiLSTMとアテンションを組み合わせることで、HINはDocREDデータセットで最先端の性能を達成した。特に、支援文の数が増加する状況で顕著な性能向上を示した。

ABSTRACT

Document-level RE requires reading, inferring and aggregating over multiple sentences. From our point of view, it is necessary for document-level RE to take advantage of multi-granularity inference information: entity level, sentence level and document level. Thus, how to obtain and aggregate the inference information with different granularity is challenging for document-level RE, which has not been considered by previous work. In this paper, we propose a Hierarchical Inference Network (HIN) to make full use of the abundant information from entity level, sentence level and document level. Translation constraint and bilinear transformation are applied to target entity pair in multiple subspaces to get entity-level inference information. Next, we model the inference between entity-level information and sentence representation to achieve sentence-level inference information. Finally, a hierarchical aggregation approach is adopted to obtain the document-level inference information. In this way, our model can effectively aggregate inference information from these three different granularities. Experimental results show that our method achieves state-of-the-art performance on the large-scale DocRED dataset. We also demonstrate that using BERT representations can further substantially boost the performance.

研究の動機と目的

• 既存の文書レベル関係抽出モデルがエンティティレベルの情報に依存するのみで、文レベルおよび文書レベルの推論を十分に活用できないという限界を解決すること。
• エンティティ、文、文書の3つのスケールで効果的に推論情報を捉え、集約できるニューラルアーキテクチャを設計すること。
• 文間推論、共参照解決、常識的知識を必要とする複雑な関係的推論タスクの性能を向上させること。
• 特に長文書や複数文推論のシナリオにおいて、支援文の数が変化する状況下でのモデルの頑健性を評価すること。

提案手法

• エンティティレベルの推論は、複数の部分空間にわたる翻訳制約とバイリニア変換を用いて、ターゲットエンティティペアを表現することでモデル化される。
• 文レベルの推論は、バニラアテンション機構を用いて文表現に注目し、それらをエンティティレベルの表現と意味的マッチング機構で照合することで得られる。
• 文書レベルの推論は、文レベルの推論表現をエンコードする階層的BiLSTMによって捉えられ、その後、重要な文を強調するためのもう一つのアテンション機構が適用される。
• エンティティレベルと文書レベルの推論表現を連結して固定長のベクトルにし、最終的な分類に用いる。
• 文脈表現の質を向上させるために、BERT埋め込みをモデルに組み込む。
• 階層的集約戦略により、細粒度（エンティティ）から粗粒度（文書）への情報伝達が保証され、複雑な推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 階層的推論フレームワークは、文書レベル関係抽出の文脈で、エンティティ、文、文書のマルチスケール推論を効果的にモデル化できるか？
• RQ2 支援文の数が増加する状況で、提案されたHINモデルは先行手法と比較してどのように性能を発揮するか？
• RQ3 BERT表現を組み込むことで、文書レベル関係抽出の性能はどの程度向上するか？
• RQ4 本モデルは、現実の文書における論理的推論、共参照解決、常識的推論といった複雑な推論タイプを処理できるか？

主な発見

• HINは大規模なDocREDベンチマークで最先端の性能を達成し、標準的およびBERT強化済みの両設定で先行手法を上回った。
• 支援文の数が増加する状況で、HINはベースラインを著しく上回った。これは、複雑な複数文関係的事実を効果的に処理できる能力を示している。
• BERT表現を用いることで性能が著しく向上した。これは、文脈埋め込みが長距離依存関係を効果的に捉えられることを示している。
• アブレーションスタディにより、階層的推論機構とマルチスケール集約戦略の両方が性能向上に不可欠であることが確認された。
• ケーススタディでは、HINが論理的推論（例：事実の鎖）や共参照解決を正しく同定している一方で、BERT-REはこのような状況で失敗していることが示された。