[論文レビュー] Document-Level $N$-ary Relation Extraction with Multiscale Representation Learning

Robin Jia, Cliff Wong+1 more|arXiv (Cornell University)|Apr 4, 2019

Topic Modeling参考文献 28被引用数 13

ひとこと要約

本稿では、文書レベルの $n$-arity 関係抽出のためのマルチスケールでエンティティ中心のニューラルアーキテクチャを提案する。このアーキテクチャは、さまざまなテキストスパンと部分関係の階層を統合することで再現率を最大化するとともに、弱い信号の統合によって精度を向上させる。生体医薬品分野のテキストを対象に評価した結果、従来の文間 $n$-arity 関係抽出手法に比べて顕著に優れており、文書全体の文脈と階層的な部分関係モデリングを可能にしている。

ABSTRACT

Most information extraction methods focus on binary relations expressed within single sentences. In high-value domains, however, $n$-ary relations are of great demand (e.g., drug-gene-mutation interactions in precision oncology). Such relations often involve entity mentions that are far apart in the document, yet existing work on cross-sentence relation extraction is generally confined to small text spans (e.g., three consecutive sentences), which severely limits recall. In this paper, we propose a novel multiscale neural architecture for document-level $n$-ary relation extraction. Our system combines representations learned over various text spans throughout the document and across the subrelation hierarchy. Widening the system's purview to the entire document maximizes potential recall. Moreover, by integrating weak signals across the document, multiscale modeling increases precision, even in the presence of noisy labels from distant supervision. Experiments on biomedical machine reading show that our approach substantially outperforms previous $n$-ary relation extraction methods.

研究の動機と目的

• 短いテキストスパン（例：連続する3文）に制限される既存の $n$-arity 関係抽出手法における再現率の低さを是正すること。
• mentionレベルの予測の組み合わせ的爆発を回避するため、エンティティタプルレベルでの関係予測を採用するエンティティ中心の定式化を採用すること。
• 複数のテキストスパンと部分関係を横断して弱い信号を統合することで、遠隔監督における精度を向上させること。
• エンティティが段落に散らばっているような、複雑で文書跨ぎの $n$-arity 関係（例：薬剤-遺伝子-変異の相互作用）を抽出可能にすること。
• 特に精密腫瘍学分野において高価値のドメイン知識を取得するためのスケーラブルでエンドツーエンドのフレームワークを提供すること。

提案手法

• モデルはエンティティ中心のアプローチを採用し、1つのエンティティタプルに対して1回の予測を行うため、mentionタプルレベルの予測に比べて組み合わせ的爆発を低減する。
• 話法単位（例：文や段落）内でのエンティティタプルのmentionレベル表現を計算し、全 $n$-arity 関係と部分関係（例：薬剤-遺伝子、遺伝子-変異）を含む。
• マルチスケール学習を用いて、複数のテキストスパンと部分関係からの表現を統合し、統一されたエンティティレベル表現を生成する。
• 文レベル、段落レベル、文書レベルの複数のスケールの表現を統合することで、包括的な文脈モデリングを可能にする。
• 部分関係モデリングにより、すべてのエンティティが1つの話法単位に同時に出現しない場合でも $n$-arity 関係の予測が可能になる。
• スパンと部分関係を横断して弱い信号を集約することで、ラベルのノイズを低減するマルチスケール表現学習を用いた遠隔監督を活用する。

実験結果

リサーチクエスチョン

• RQ1 文書全体の文脈に拡張することで、短いテキストスパンに制限される手法よりも、文書レベルの $n$-arity 関係抽出システムが顕著に高い再現率を達成できるか？
• RQ2 エンティティ中心の定式化は、文書全体の抽出においてmentionレベルのアプローチと比較して、計算的・学習的複雑性をどの程度低減できるか？
• RQ3 複数の話法単位と部分関係をカバーするマルチスケール表現学習は、ノイズの多い遠隔監督の下でも、どの程度精度を向上させられるか？
• RQ4 部分関係モデリングにより、主要なエンティティが異なる段落に散らばっている場合でも $n$-arity 関係の検出が可能になるか？
• RQ5 本手法は、高価値の生体医薬品分野における既存の文間 $n$-arity 関係抽出システムと比較して、どの程度優れているか？

主な発見

• 提案手法は、生体医薬品分野の機械的読解ベンチマークにおいて、従来の $n$-arity 関係抽出手法を顕著に上回り、再現率と精度の両方を向上させた。
• 文書全体のスコープに拡大することで、薬剤-遺伝子-変異相互作用のように複数の段落に跨る $n$-arity 関係を、スパン制限付きモデルでは見逃すことが可能になった。
• エンティティ中心の定式化により、mentionレベルの予測の組み合わせ的爆発を回避でき、スケーラブルで効率的な文書レベル推論が実現した。
• マルチスケール学習により、多様なテキストスパンと部分関係を横断して弱い信号を効果的に統合し、ノイズの多い遠隔監督下でも精度が向上した。
• 部分関係表現の統合により、全エンティティが1つの話法単位に共起しなくても、関係の検出が可能になった。
• 本手法は三項関係に限らず、効果、がん種、証拠タイプなどの追加フィールドを備えることで、より高次の関係へも拡張可能である。