[論文レビュー] Distant Supervision for Relation Extraction with Linear Attenuation Simulation and Non-IID Relevance Embedding

Changsen Yuan, Heyan Huang+3 more|arXiv (Cornell University)|Dec 22, 2018

Topic Modeling参考文献 26被引用数 6

ひとこと要約

本稿では、エンティティからの距離に基づいて単語の重みを割り当てる線形減衰シミュレーションと、bag 内の文の依存関係をモデル化する非 IID 関連埋め込みを用いた、関係抽出のための新しい遠隔教師付き手法を提案する。この手法は、情報量の多い単語や関連性の高い文に注目することで、従来手法を上回る性能を示し、ベンチマークデータセット上で関係抽出の正確性を向上させる。

ABSTRACT

Distant supervision for relation extraction is an efficient method to reduce labor costs and has been widely used to seek novel relational facts in large corpora, which can be identified as a multi-instance multi-label problem. However, existing distant supervision methods suffer from selecting important words in the sentence and extracting valid sentences in the bag. Towards this end, we propose a novel approach to address these problems in this paper. Firstly, we propose a linear attenuation simulation to reflect the importance of words in the sentence with respect to the distances between entities and words. Secondly, we propose a non-independent and identically distributed (non-IID) relevance embedding to capture the relevance of sentences in the bag. Our method can not only capture complex information of words about hidden relations, but also express the mutual information of instances in the bag. Extensive experiments on a benchmark dataset have well-validated the effectiveness of the proposed method.

研究の動機と目的

• エンティティからの距離に応じて関連性が異なるにもかかわらず、従来の遠隔教師付き手法が文内のすべての単語を同等に重要視するという限界に対処する。
• マルチインスタンス学習において無視されがちな、bag 内の文同士の独立性を仮定するという問題を克服し、文間の関連性をモデル化する。
• 情報量の多い文を強調し、ノイズや無関係なインスタンスの影響を低減することで、関係抽出の性能を向上させる。
• 深層学習フレームワーク内で距離に敏感な単語重み付けと文レベルの依存関係モデリングを統合し、複雑な隠れた関係を捉える。

提案手法

• エンティティペアからの距離に応じて単語の重みを動的に低下させる線形減衰シミュレーションを適用し、近接性が高いほど関連性が高いという仮説を反映する。
• 最も関連性の高い文（「最良の」文）との間のコサイン類似度を用いて、非 IID 関連スコアを計算し、bag 内の文の依存関係をモデル化する。
• 非 IID 関連埋め込みをピecewise 卷積ニューラルネットワーク（PCNN）アーキテクチャに統合し、単語レベルと文レベルの表現を同時に学習する。
• 最良の文との類似度が高い文に高い注目重みを割り当てることで、情報量の多いインスタンスを強調し、ノイズの多い文を抑制する。
• 各 bag に同じエンティティペアを含む複数の文が含まれるマルチインスタンスマルチラベル学習の設定で、モデルをエンドツーエンドで学習する。
• 各文を孤立してではなく、隣接する文と照らし合わせて構造的情報をモデル化することで、文脈的および関係的依存関係を捉える。

実験結果

リサーチクエスチョン

• RQ1 エンティティからの距離が関連性に相関することを踏まえると、文内の単語の重要性をどれほど現実的にモデル化できるか？
• RQ2 文レベルの依存関係をモデル化することで、遠隔教師付き学習における関係抽出の性能はどの程度向上するか？
• RQ3 非 IID 文表現は、bag 内の文同士の相互情報量を効果的に捉え、より良いラベル予測を可能にするか？
• RQ4 距離に敏感な単語重み付けと文レベルの関連性モデリングを組み合わせることで、標準的な遠隔教師付きベースラインに対して顕著な向上が得られるか？

主な発見

• 提案手法は、広く使われているベンチマークデータセットにおいて、最先端の手法を上回る関係抽出性能を顕著に向上させた。
• 線形減衰シミュレーションにより、エンティティから遠いまたは無関係な単語の影響が、その距離に応じて低減され、低い重みが割り当てられることが有効であった。
• 非 IID 関連埋め込みは、最良の文との類似度を測定することで、bag 内で最も情報量の多い文を的確に特定・強調するのに成功した。
• 両技術の統合により、ノイズが多いまたは長い文に対してもより頑健で正確な関係分類モデルが得られた。
• 文内および文間の依存関係を活用することで、モデルは隠れた関係を優れた性能で捉えることができた。
• 実験結果から、特に長いまたは複雑な文において、遠隔教師付き学習による誤ったラベルの影響が顕著に低減されていることが確認された。