[論文レビュー] SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction

Yuxin Xiao, Zecheng Zhang+3 more|arXiv (Cornell University)|Sep 24, 2021

Topic Modeling被引用数 11

ひとこと要約

本稿では、文書レベルの関係抽出を向上させるために、中間的推論ステップ（共参照解決、エンティティタイプ指定、細分化された証拠抽出）を明示的に監視および拡張する手法SAISを提案する。これにより、DocRED、CDR、GDAの3つのベンチマークで最先端の性能を達成し、特にDocREDにおける証拠抽出のF1スコアは、2位の手法と比較して相対的に5.04%向上した。

ABSTRACT

Stepping from sentence-level to document-level, the research on relation extraction (RE) confronts increasing text length and more complicated entity interactions. Consequently, it is more challenging to encode the key information sources--relevant contexts and entity types. However, existing methods only implicitly learn to model these critical information sources while being trained for RE. As a result, they suffer the problems of ineffective supervision and uninterpretable model predictions. In contrast, we propose to explicitly teach the model to capture relevant contexts and entity types by supervising and augmenting intermediate steps (SAIS) for RE. Based on a broad spectrum of carefully designed tasks, our proposed SAIS method not only extracts relations of better quality due to more effective supervision, but also retrieves the corresponding supporting evidence more accurately so as to enhance interpretability. By assessing model uncertainty, SAIS further boosts the performance via evidence-based data augmentation and ensemble inference while reducing the computational cost. Eventually, SAIS delivers state-of-the-art RE results on three benchmarks (DocRED, CDR, and GDA) and outperforms the runner-up by 5.04% relatively in F1 score in evidence retrieval on DocRED.

研究の動機と目的

• 文書レベルの関係抽出における暗黙的監視の限界を解消し、モデルがテクスト的文脈やエンティティタイプを効果的に捉えられない問題に対処すること。
• 各関係の支援証拠を明示的に取得することで、証拠を共有集合と見なすのではなく、モデルの解釈可能性を向上させること。
• 共参照解決、エンティティタイプ指定、証拠抽出を補助タスクとして統合したマルチタスク学習により、関係抽出の品質を向上させること。
• モデルの不確実性が高い場合にのみ、証拠に基づくデータ拡張とアンサンブル推論を適用することで、計算コストを抑えつつ性能を向上させること。
• DocRED、CDR、GDAの3つのベンチマークで最先端の結果を示し、関係抽出および証拠抽出の両面で顕著な向上を達成すること。

提案手法

• SAISは、4つの補完的中間タスクを導入する：共参照解決（CR）、エンティティタイプ指定（ET）、プールド証拠抽出（PER）、細分化された証拠抽出（FER）。各タスクは、異なる情報源を捉えるように設計されている。
• モデルは関係抽出とこれらの4つの補助タスクを同時に学習することで、テクスト的文脈（CR、PER、FER経由）とエンティティタイプ情報（ET経由）を明示的に監視できる。
• 不確実性が低い場合にのみ、証拠に基づくデータ拡張を適用する：予測された証拠に基づいて、擬似ドキュメントとアテンションマスクを生成することで、モデルの頑健性を向上させる。
• アンサンブル推論は選択的に適用され、不確実性スコアがしきい値を超えた場合にのみ予測を統合する。これにより、計算効率を維持する。
• 本手法はBERTベースのアーキテクチャを活用し、タスク間で共有表現を用いたマルチタスク学習を実装。関係抽出と証拠抽出の両方を最適化する。
• アブレーションスタディにより、各中間タスクの必要性が確認され、FERは関係ごとに固有の証拠を割り当てることで、特に解釈可能性に顕著な利点を示した。

実験結果

リサーチクエスチョン

• RQ1 共参照解決やエンティティタイプ指定といった中間的推論ステップを明示的に監視することで、文書レベルの関係抽出の品質が向上するか？
• RQ2 関係ごとに固有の証拠を割り当てる細分化された証拠抽出（FER）は、プールド証拠抽出（PER）と比較して、より解釈可能で正確な予測をもたらすか？
• RQ3 モデルの不確実性がある場合にのみ適用される証拠に基づくデータ拡張は、計算コストを著しく増加させることなく性能を向上させられるか？
• RQ4 テクスト的文脈とエンティティタイプ情報は、どのようにして関係抽出の向上に寄与するか？また、その影響を分離し、測定可能か？
• RQ5 CR、ET、PER、FERを統合したマルチタスク学習は、文書レベルのREにおける標準的なエンドツーエンド学習を上回るか？

主な発見

• SAISは、DocRED、CDR、GDAの3つのベンチマークで最先端の性能を達成し、本論文で報告された最高のF1スコアを記録した。
• DocREDベンチマークでは、SAISは2位の手法と比較して、証拠抽出のF1スコアを相対的に5.04%向上させ、優れた解釈性を示した。
• アブレーションスタディの結果、4つの中間タスク（CR、ET、PER、FER）のいずれかを削除するとF1スコアが低下し、それらが補完的役割を果たしていることが確認された。
• エンティティタイプのみを用いた変種（SAIS_RE+ET）は、タイプの誤分類により「citizenship」を誤って予測するが、完全なSAISモデルは文脈とタイプを統合することで「country_of_origin」を正しく特定した。
• ケーススタディでは、PERが異なる文からの矛盾する証拠を統合してしまうのに対し、FERは関係ごとに固有の証拠セットを割り当てることで、証拠抽出で優れた性能を示した。
• 証拠に基づくデータ拡張と不確実性に配慮したアンサンブル推論は、BERT-baseのアブレーションにより確認されたように、計算コストをほとんど増加させることなく性能を向上させた。