[論文レビュー] SelfORE: Self-supervised Relational Feature Learning for Open Relation Extraction

Xuming Hu, Chenwei Zhang+3 more|arXiv (Cornell University)|Apr 6, 2020

Topic Modeling参考文献 28被引用数 9

ひとこと要約

SelfOREは、事前学習されたBERTモデルを用いて文脈に応じたエンティティペア表現を生成し、適応的ソフトクラスタリングを用いて自己教師付きの擬似ラベルを生成し、エンドツーエンドの学習を通じて段階的に特徴の質を向上させる、オープンドメイン関係抽出のための自己教師付き学習フレームワークを提案する。本手法は、人間による関係のアノテーションや関係数の事前知識を一切必要とせず、3つのベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Open relation extraction is the task of extracting open-domain relation facts from natural language sentences. Existing works either utilize heuristics or distant-supervised annotations to train a supervised classifier over pre-defined relations, or adopt unsupervised methods with additional assumptions that have less discriminative power. In this work, we proposed a self-supervised framework named SelfORE, which exploits weak, self-supervised signals by leveraging large pretrained language model for adaptive clustering on contextualized relational features, and bootstraps the self-supervised signals by improving contextualized features in relation classification. Experimental results on three datasets show the effectiveness and robustness of SelfORE on open-domain Relation Extraction when comparing with competitive baselines.

研究の動機と目的

• 人間による関係のアノテーションに依存するのを減らすことで、遠隔教師付き学習や無教師手法の限界を克服すること。
• 事前に定義された関係や既知の関係数を必要としない自己教師付きフレームワークを構築し、判別的な関係特徴を学習すること。
• クラスタリングから得られる自己教師信号を用いて、段階的な改善によって関係表現の質を向上させること。
• 関係タイプが未知で動的であるオープンワールドの設定において、強固で効果的な関係抽出を可能にすること。

提案手法

• コンテキストに応じた関係エンコーダは、BERTを用いて文脈に基づいたエンティティペア表現を符号化する。
• 適応的クラスタリングは、事前にクラスタ数を指定せずに、エンティティペアを関係クラスタにソフトアサインすることで、高信頼度の擬似ラベルを生成する。
• 関係分類モジュールは、これらの擬似ラベルを用いて学習し、エンコーダ内のコンテキストに応じた特徴を精緻化することで、表現学習のフィードバックループを構築する。
• エンコーダと分類器の共同最適化を通じて、繰り返しクラスタリングの質と特徴表現の両方を向上させる。
• 分類損失を用いて特徴を精緻化することで、自己教師信号をブートストラップし、次のクラスタリング段階での擬似ラベルの質を向上させる。
• 表面形式の関係名はクラスタ中心点から導出され、モデルが解釈可能な関係ラベルを出力可能になる。

実験結果

リサーチクエスチョン

• RQ1 自己教師学習は、オープンドメイン関係抽出において、人間によるアノテーションや遠隔教師付き学習に効果的に置き換え可能か？
• RQ2 自己教師信号を用いて、文脈に応じた関係特徴をどのように段階的に精緻化できるか？
• RQ3 関係数の事前知識がなくても、適応的ソフトクラスタリングは関係クラスタリングの質をどの程度向上できるか？
• RQ4 自己教師付きフレームワークは、既存の無教師および遠隔教師付きベースラインを、オープンドメイン関係抽出で上回ることができるか？

主な発見

• SelfOREは3つの実世界のデータセットで最先端の性能を達成し、オープンドメイン関係抽出の競合するベースラインを上回る。
• 関係分布が異なるデータセット間で一貫した頑健性を示し、関係数が未知の状況でも性能を維持する。
• 自己教師分類による段階的特徴精緻化が、クラスタリングの質と関係の識別性能を顕著に向上させる。
• 適応的ソフトクラスタリングは、従来のハードクラスタリング手法と比較して、クラスタ数の感度が低くなる。
• クラスタ中心点から表面形式の関係名を効果的に導出でき、解釈可能な関係出力を実現した。
• 新しい関係のラベル付き例が一切ないゼロショット設定においても、モデルは良好な汎化性能を示す。