[論文レビュー] A Question-answering Based Framework for Relation Extraction Validation

Jiayang Cheng, Haiyun Jiang+2 more|arXiv (Cornell University)|Apr 7, 2021

Topic Modeling参考文献 33被引用数 7

ひとこと要約

本論文は、QAモデルによる尾エンティティ予測を活用して関係抽出（RE）結果の検証と改善を図る、質問応答（QA）ベースのフレームワークを提案する。既存の関係分類器のスコアをQAの信頼度を用いて再スコアリングすることで、追加データやモデル再訓練を要せず、NYTデータセット上で5つの強力なベースラインにおいて一貫した性能向上を達成する。

ABSTRACT

Relation extraction is an important task in knowledge acquisition and text understanding. Existing works mainly focus on improving relation extraction by extracting effective features or designing reasonable model structures. However, few works have focused on how to validate and correct the results generated by the existing relation extraction models. We argue that validation is an important and promising direction to further improve the performance of relation extraction. In this paper, we explore the possibility of using question answering as validation. Specifically, we propose a novel question-answering based framework to validate the results from relation extraction models. Our proposed framework can be easily applied to existing relation classifiers without any additional information. We conduct extensive experiments on the popular NYT dataset to evaluate the proposed framework, and observe consistent improvements over five strong baselines.

研究の動機と目的

• 既存の関係抽出（RE）モデルに自己訂正ができない誤った予測を検出する検証メカニズムが欠如している問題に対処すること。
• 事前学習済み分類器からの誤った予測を検出し訂正する結果レベルの検証ステップを導入することで、REの性能を向上させること。
• 追加のアノテーションやモデル再トレーニングを必要とせず、任意の既存の関係分類器と統合可能なプラグアンドプレイ型の検証フレームワークを開発すること。
• 計算コストを抑える一方で高い検証精度を維持できる、効率的な関係選択戦略を検討すること。

提案手法

• ヘッドエンティティと候補関係から質問を構築する（例：「ビル・ゲイツと共同でマイクロソフトを共同創業したのは誰か？

実験結果

リサーチクエスチョン

• RQ1 質問応答（QA）を用いて関係抽出の予測の正しさを効果的に検証できるか？
• RQ2 QAベースの検証は、AUCおよびPrecision@Nの観点から、既存の関係分類器の性能をどのように向上させるか？
• RQ3 正確性と効率性のバランスを考慮した場合、検証対象の候補関係を選択する上で最も効果的な戦略は何か？
• RQ4 QAベースの検証フレームワークは、CNNやPCNNモデルのような異なる種類の関係分類器に対しても汎用的に適用可能か？

主な発見

• QAベースの検証フレームワークは、NYTデータセット上で5つの強力なベースラインモデルすべてにおいて一貫して性能を向上させ、広範な有効性を示している。
• 特にPCNNベースのモデルにおいて、トップ-N予測のPrecision@Nが顕著に向上しており、高得点の誤予測を効果的に検出できていることが示唆されている。
• 候補関係選択戦略としての戦略IIは、戦略IよりもPrecision@Nで優れている。正しい関係のスコアが高くなるが、戦略Iはスコアバイアスが低いため、全体のAUCがやや優れている。
• 正しい関係のスコアが顕著に向上（例：0.133 → 0.832）する一方で、誤った関係のスコアは著しく低下（例：0.222 → 0.008）するため、誤予測の是正能力が確認された。
• 本手法はプラグアンドプレイ型のコンponentとして機能し、再トレーニングや追加のアノテーションを必要とせず、既存の分類器を強化できるため、実用的かつ容易に導入可能である。