[論文レビュー] Automatic Context Pattern Generation for Entity Set Expansion

Yinghui Li, Shulin Huang+7 more|arXiv (Cornell University)|Jul 17, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、アノテート済みコーパスに依存しない、高品質な文脈パターンを生成する二つの逆方向GPT-2モデルを用いた、コーパスに依存しないエンティティセット拡張フレームワークGAPAを提案する。この手法は、自動生成された文脈パターンを活用して類似度スコアリングにより反復的エンティティ拡張を実行することで、アノテート済みコーパスに依存せずに競争力のある性能を達成する。

ABSTRACT

Entity Set Expansion (ESE) is a valuable task that aims to find entities of the target semantic class described by given seed entities. Various Natural Language Processing (NLP) and Information Retrieval (IR) downstream applications have benefited from ESE due to its ability to discover knowledge. Although existing corpus-based ESE methods have achieved great progress, they still rely on corpora with high-quality entity information annotated, because most of them need to obtain the context patterns through the position of the entity in a sentence. Therefore, the quality of the given corpora and their entity annotation has become the bottleneck that limits the performance of such methods. To overcome this dilemma and make the ESE models free from the dependence on entity annotation, our work aims to explore a new ESE paradigm, namely corpus-independent ESE. Specifically, we devise a context pattern generation module that utilizes autoregressive language models (e.g., GPT-2) to automatically generate high-quality context patterns for entities. In addition, we propose the GAPA, a novel ESE framework that leverages the aforementioned GenerAted PAtterns to expand target entities. Extensive experiments and detailed analyses on three widely used datasets demonstrate the effectiveness of our method. All the codes of our experiments are available at https://github.com/geekjuruo/GAPA.

研究の動機と目的

• 高品質で手動アノテートされたコーパスに強く依存する従来のコーパスベースのESE手法の限界を解消すること。
• ESEのためのアノテート済みトレーニングコーパスを必要としないため、エンティティアノテーション品質のボトルネックを回避すること。
• 事前学習言語モデルを用いて自動的に文脈パターンを生成するという、新たなパラダイム「コーパスに依存しないESE」を提案すること。
• 微細な意味的差を捉えた文脈パターンを活用することで、エンティティ拡張の性能を向上させること。
• 反復的なシードセットの最適化を通じて動的に監督信号を強化するフレームワークの開発

提案手法

• 各エンティティの周囲の文脈パターン（前文・次文）を生成するために、左から右へと自己回帰するGPT-2モデルと、右から左へと自己回帰するGPT-2モデルを別々に用いる。
• 右から左へのテキスト生成を可能にするために、逆転コーパスで微調整された逆方向GPT-2モデルを用い、高品質な文脈パターンの生成を保証する。
• 生成されたパターンから文脈表現を抽出し、類似するエンティティは類似した文脈を持つという仮定に基づいてエンティティ類似度を計算する。
• 反復的拡張プロセスでは、候補エンティティをシードエンティティの文脈類似度に基づいてスコア付けし、各ラウンドで上位ランクのエンティティをシードセットに追加する。
• 監督信号強化モジュールは、エンティティ類似度を用いてシードセットと候補セットを更新し、スパarsityな監督信号の問題を緩和する。
• フレームワークは完全にエンドツーエンドであり、アノテート済みコーパスやエンティティアノテーションを一切必要とせず、コーパスに依存しない動作を実現する。

実験結果

リサーチクエスチョン

• RQ1 アノテート済みコーパスに依存せずに、エンティティセット拡張のための文脈パターンを効果的に生成できるか？
• RQ2 逆方向自己回帰言語モデルは、エンティティに対して流暢で関連性のある文脈パターンを生成できるか？
• RQ3 自動生成されたパターンを用いたコーパスに依存しないESEフレームワークは、従来のコーパスベース手法を上回る性能を示せるか？
• RQ4 生成されたパターンは、国内の「県」と「都市」のような微細な意味的クラスをどれほど正確に区別できるか？
• RQ5 特にネストされたまたは曖昧なエンティティ表記の文脈で、この手法の失敗モードは何か？

主な発見

• GAPAフレームワークは、アノテート済みコーパスやエンティティアノテーションを一切必要とせず、3つの広く使われているESEベンチマークで競争力のある性能を達成した。
• 文脈パターン生成モジュールは、多様な意味的クラスにおける定性的な事例研究を通じて、高品質で流暢で関連性のあるパターンを生成できることを示した。
• 双方向GPT-2モデルの使用により、関連するエンティティを暗黙的にエンコードする文脈パターンが生成され、意味的表現が強化された。
• この手法は、中国の「安徽省」と「南京市」のような微細な意味的サブクラスへの誤った拡張を効果的に回避した（例：「安徽省」（県）と「南京市」（都市）を区別）。
• 文脈パターンのノイズにより、「ミシシッピ川」のようなネストされたエンティティが誤って拡張される場合があるため、誤検出を低減するためのデコード戦略の改善が求められる。
• 実証的結果から、監督信号強化モジュールがスパarsityな監督信号を効果的に緩和し、反復的拡張の安定性と正確性を向上させることを確認した。