[論文レビュー] Active Relation Discovery: Towards General and Label-aware Open Relation Extraction

Yangning Li, Yinghui Li+4 more|arXiv (Cornell University)|Nov 8, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、既知の関係と新しい関係を区別するための関係的外れ値検出と、発見された関係に人間が読みやすいラベルを割り当てるためのアクティブラーニングを組み合わせた、オープン関係抽出のための新規フレームワークであるActive Relation Discovery (ARD) を提案する。ARDは、従来のSOTA手法と比較して、従来の設定および新たに提案されたGeneral OpenRE設定の両方で顕著な性能向上を示し、現実世界の状況においても頑健性と実用性を示している。

ABSTRACT

Open Relation Extraction (OpenRE) aims to discover novel relations from open domains. Previous OpenRE methods mainly suffer from two problems: (1) Insufficient capacity to discriminate between known and novel relations. When extending conventional test settings to a more general setting where test data might also come from seen classes, existing approaches have a significant performance decline. (2) Secondary labeling must be performed before practical application. Existing methods cannot label human-readable and meaningful types for novel relations, which is urgently required by the downstream tasks. To address these issues, we propose the Active Relation Discovery (ARD) framework, which utilizes relational outlier detection for discriminating known and novel relations and involves active learning for labeling novel relations. Extensive experiments on three real-world datasets show that ARD significantly outperforms previous state-of-the-art methods on both conventional and our proposed general OpenRE settings. The source code and datasets will be available for reproducibility.

研究の動機と目的

• 現実のテスト条件下で既知の関係と新しい関係が共存する状況において、既存のOpenRE手法が既知の関係と新しい関係を区別できないという限界に対処すること。
• 新しい関係の二次的で手作業によるラベリングの必要性を排除し、意味的で人間が読みやすいラベルを自動的に割り当てる仕組みを提供すること。
• 現実世界の情報抽出の課題をよりよく反映する、実用的なGeneral OpenREの評価設定を提案すること。
• アクティブラーニングと関係的外れ値検出を統合した、スケーラブルで効率的なフレームワークを構築し、エンドツーエンドの関係発見を実現すること。

提案手法

• ARDは、新しい関係を外れ値として扱う関係的外れ値検出メカニズムを採用しており、これにより、テストデータに既知の関係と新しい関係が共存する状況でも、モデルが頑健に関係を分類できる。
• フレームワークはアクティブラーニングにおける代表的インスタンス選択戦略を導入し、人間がラベルを付与するのはわずかな数の情報量の高いインスタンスに限定することで、新しい関係のための教師あり分類器を学習可能にする。
• 未知の関係を識別するためのディスクラミネーターネットワークを訓練し、信頼度スコアをアクティブラーニングプロセスをガイドする。
• 関係表現にはBERTベースのエンコーダーを用い、アブレーションスタディでは、BERT_BASEですら、従来のBERT_LARGEを用いたSOTAモデルを上回ることを示している。
• アクティブラーニングループは、ラベルなしプールから最も不確実性が高く情報量の多いインスタンスを繰り返し選択し、ラベル付けコストを最小限に抑える。
• フレームワークは従来の設定およびGeneral OpenRE設定の両方で評価され、F1、V-measure、ARI、および精度/再現率といった標準的なNLP指標を用いて性能が測定されている。

実験結果

リサーチクエスチョン

• RQ1 テストデータに既知の関係と新しい関係が共存する現実世界の状況下で、既存のOpenREモデルはどの程度一般化できるか？
• RQ2 二次的な手作業によるラベル付けを必要とせず、関係抽出モデルが自動的に意味的で人間が読みやすいラベルを新しい関係に割り当てられるか？
• RQ3 混合テスト条件下で、関係的外れ値検出が、既知の関係と新しい関係を区別する際のモデルの頑健性をどの程度向上させるか？
• RQ4 代表的インスタンス選択を用いたアクティブラーニングは、高品質な関係ラベリングを維持しつつ、人的ラベル付け作業をどの程度削減できるか？

主な発見

• ARDは、従来のSOTA手法と比較して、3つの現実世界データセットにおいて、従来の設定およびGeneral OpenRE設定の両方で顕著な性能向上を達成した。
• BERT_BASEをバックボーンとして用いても、従来のBERT_LARGEを用いたSOTAモデルを上回る性能を示しており、モデルサイズが性能の主因ではないことを示している。
• ディスクラミネーターの未知関係の分類に対する信頼度は、訓練エポックが進むにつれて安定的に上昇しており、外れ値検出が安定的かつ信頼性があることを示している。
• COVID-19関連の文献への実用的応用において、ARDは10種類のエンティティタイプの組み合わせに対して、139,479件の関係を高い信頼度と低いラベル付けコストで自動抽出した。
• アブレーションスタディの結果、BERTのサイズが性能に顕著な影響を与えないことが判明し、ARは小さなモデルでも強力な性能を維持していることがわかった。
• 代表的インスタンス選択を用いたアクティブラーニング戦略により、ラベル付け作業の負荷が削減された一方で、下流タスクにおけるF1やV-measureスコアが高く維持されており、高品質なラベリングが実現されていることが裏付けられている。