[論文レビュー] Enhancing Relation Extraction Using Syntactic Indicators and Sentential Contexts

Qiongxing Tao, Xiangfeng Luo+1 more|arXiv (Cornell University)|Dec 4, 2019

Topic Modeling参考文献 28被引用数 4

ひとこと要約

本稿では、関係抽出を向上させるために、意味的関係を示すキーフレーズ（例：前置詞）である句構造的インジケータを、完全な文脈と統合するインジケータに注意を払うニューラルモデルを提案する。手動で抽出された句構造的インジケータからの制約を用いたBERTベースの符号化により、ノイズを低減し、より情報量の多い特徴を捉えることができ、SemEval-2010ベンチマークで90.36%のF1スコアを達成し、最先端の手法を上回った。

ABSTRACT

State-of-the-art methods for relation extraction consider the sentential context by modeling the entire sentence. However, syntactic indicators, certain phrases or words like prepositions that are more informative than other words and may be beneficial for identifying semantic relations. Other approaches using fixed text triggers capture such information but ignore the lexical diversity. To leverage both syntactic indicators and sentential contexts, we propose an indicator-aware approach for relation extraction. Firstly, we extract syntactic indicators under the guidance of syntactic knowledge. Then we construct a neural network to incorporate both syntactic indicators and the entire sentences into better relation representations. By this way, the proposed model alleviates the impact of noisy information from entire sentences and breaks the limit of text triggers. Experiments on the SemEval-2010 Task 8 benchmark dataset show that our model significantly outperforms the state-of-the-art methods.

研究の動機と目的

• すべての単語を同等に扱う既存の関係抽出モデルの限界を解消すること。
• 関係分類を妨げる不要な語のノイズを低減すること。
• 関係を示す句構造的インジケータ（例：'moved into' のようなフレーズ）を特定・活用することで、関係抽出の性能を向上させること。
• 固定された語彙的トリガーに依存するアプローチの欠陥を克服すること。これは、明示的なトリガーが存在しない場合には失敗する。
• 句構造的インジケータと文全体の文脈を組み合わせることで、関係抽出の性能が向上することを示すこと。

提案手法

• 句構造的インジケータは、エンティティの意味あいまい性の解消、主成分抽出、関係のないエンティティの削除を含む文法的知識を用いて抽出される。
• モデルは、文全体と抽出された句構造的インジケータの両方を表すためにBERTベースの文脈符号化器を採用する。
• 句構造的インジケータが文脈表現をガイドする制約として用いられ、関係関連の特徴に注目するようにモデルが最適化される。
• 二重ストリーム符号化機構により、文全体と句構造的インジケータのシーケンスが別々に処理された後、その表現が統合される。
• 統合表現上で分類器ヘッドを用いて最終的な分類が行われ、インジケータが監視信号として機能する。
• アブレーションスタディのため、BERTベースおよび非BERTモデル（CNNおよびBi-LSTMモジュールを含む）を用いてアプローチを検証した。

実験結果

リサーチクエスチョン

• RQ1 前置詞や方向性を示す語などの句構造的インジケータは、標準的な文レベルモデリングを上回って関係抽出を改善できるか？
• RQ2 句構造的インジケータを組み込むことで、文内の不要な語からのノイズ低減能力にどのような影響を与えるか？
• RQ3 エンティティ間の距離や固定語彙的トリガーに依存するモデルと比較して、句構造的インジケータはどの程度性能を向上させるか？
• RQ4 文脈表現に対する句構造的インジケータの制約が、より強固で正確な関係分類を可能にするか？
• RQ5 提案されたインジケータに注意を払うアプローチは、特にエンティティ間のスパンに高いノイズを含む多様な関係タイプに一般化可能か？

主な発見

• 提案されたBERTベースのモデルは、SemEval-2010 Task 8ベンチマークで90.36%のF1スコアを達成し、最先端の手法を上回った。
• 句構造的インジケータの導入により、全関係カテゴリでF1スコアが向上し、特にInstrument-Agency（+3.13 pp）、Member-Collection（+3.06 pp）、Message-Topic（+2.61 pp）、Product-Producer（+5.95 pp）で顕著な向上が見られた。
• 非BERTモデル（CNNとBi-LSTMモジュールを組み合わせたもの）は、85.9%のF1スコアを達成し、他のCNNおよびRNNベースのモデル、およびWordNetやNERタグのような高レベル特徴を用いたモデルを上回った。
• 句構造的インジケータの制約を除去すると性能が低下し、インジケータが表現学習を改善する意味のある制約として機能していることが確認された。
• 文全体とインジケータのシーケンスの両方の特徴を統合することで、単独で使用する場合よりも優れた結果が得られ、両者の相補的な価値が示された。
• フィルタリングを行わずに文全体の特徴を過剰に使用すると性能が劣化するため、除去すべきノイズが存在することが確認された。