[論文レビュー] Improving Long Tailed Document-Level Relation Extraction via Easy Relation Augmentation and Contrastive Learning

Yangkai Du, Tengfei Ma+5 more|arXiv (Cornell University)|May 21, 2022

Topic Modeling被引用数 7

ひとこと要約

本稿では、ドキュメントレベルの関係抽出（DocRE）における長尾分布問題に対処するため、Easy Relation Augmentation（ERA）と対照的学習フレームワークであるERACLを提案する。RAWテキストではなく関係表現を拡張することで、ERAは低リソース（尾部）関係向けに効率的かつ的確なデータ拡張を可能にする。一方、ERACLは遠隔教師ありデータ上で対照的学習を実行することで一般化性能をさらに向上させ、頭部関係の性能を損なうことなく尾部関係で顕著な向上を達成し、SOTAの性能を実現する。

ABSTRACT

Towards real-world information extraction scenario, research of relation extraction is advancing to document-level relation extraction(DocRE). Existing approaches for DocRE aim to extract relation by encoding various information sources in the long context by novel model architectures. However, the inherent long-tailed distribution problem of DocRE is overlooked by prior work. We argue that mitigating the long-tailed distribution problem is crucial for DocRE in the real-world scenario. Motivated by the long-tailed distribution problem, we propose an Easy Relation Augmentation(ERA) method for improving DocRE by enhancing the performance of tailed relations. In addition, we further propose a novel contrastive learning framework based on our ERA, i.e., ERACL, which can further improve the model performance on tailed relations and achieve competitive overall DocRE performance compared to the state-of-arts.

研究の動機と目的

• ドキュメントレベルの関係抽出（DocRE）における長尾分布問題に対処すること。特に、希少な関係が過小表現され、うまく学習されない問題を解決すること。
• ドキュメント全体の再エンコーディングを必要とせず、特定の尾部関係の性能を向上させる計算効率の良いデータ拡張手法を開発すること。
• 提案された拡張手法に基づく対照的学習フレームワークを用いて、低リソース関係におけるモデルの頑健性と一般化性能を向上させること。
• 頭部関係の性能を損なうことなく、競争的な全体的なDocRE性能を達成するとともに、希少（尾部）関係の性能を顕著に向上させること。
• 主なベンチマークを越えて、多様なDocREデータセットおよび低データ環境下でも、提案手法の有効性を検証すること。

提案手法

• RAWテキストではなく関係表現上で動作する、新たなデータ拡張技術であるEasy Relation Augmentation（ERA）を提案。これにより、尾部関係向けに効率的かつ的確な拡張が可能になる。
• 遠隔教師ありデータ上で対照的損失を最小化することで、拡張済みおよび元の関係表現を統合する対照的学習フレームワークERACLを導入。
• モーメンタムキューを用いて動的メモリバンクとしての負例を維持し、対照的学習による表現品質の向上を図る。
• 拡張処理および対照的学習を、遠隔教師ありデータ上で事前学習段階で実行することで、希少関係への一般化能力を強化する。
• バックボーンエンコーダーとしてXLM-RoBERTa-baseを採用し、DocREDおよびHacREDデータセット上でエンドツーエンドに手法を適用。
• ERAや対照的学習の各コンponentを無効化することで、アブレーションスタディを実施し、それらの貢献度を分離・評価。

実験結果

リサーチクエスチョン

• RQ1 RAWテキストの代わりに関係表現を拡張することで、DocREにおける低リソース（尾部）関係の性能向上が、テキストレベルの拡張よりもより効率的に行えるか。
• RQ2 拡張済み関係表現上で対照的学習を実行することで、特に尾部関係において一般化性能がどの程度向上するか。
• RQ3 提案されたERAおよびERACLフレームワークは、尾部関係の性能を顕著に向上させる一方で、頭部関係の性能を維持できるか。
• RQ4 長尾分布の影響が顕著に現れる低データ環境下でも、本手法はどの程度有効であるか。
• RQ5 主なベンチマーク（例：HacRED）を越えて、他の長尾DocREデータセットに対しても本手法は汎用性を示せるか。

主な発見

• ERAは、ATLOPより尾部関係（クラスタ4–10）でF1スコアを最大0.44ポイント向上させつつ、頭部関係（クラスタ1–3）でも競争力のある性能を維持した。
• ERACLはATLOPより0.50ポイントのF1スコア向上を達成し、マクロF1スコアで0.79ポイント向上。特に尾部関係で顕著な改善が見られた。
• 10%および5%の訓練データ設定下で、ERACLはそれぞれ14.89および11.84のマクロ@500 F1スコアを達成し、低データ環境下での高いデータ効率性と頑健性を示した。
• HacREDでは、ERAがATLOPを0.43ポイントF1スコアで上回り、マクロF1スコアでも0.74ポイント向上。DocREDベンチマークを越えた汎用性を示した。
• アブレーションスタディの結果、ERAおよび対照的学習の両方が性能向上にほぼ同等の貢献を示しており、それぞれを無効化した場合のF1スコア低下は0.44および0.50ポイントであった。
• DocREDにおいてSOTAの性能を達成するとともに、頻度が低い関係の性能を顕著に向上させた。これにより、長尾分布問題の緩和に本手法の有効性が裏付けられた。