[論文レビュー] Probing Pre-trained Auto-regressive Language Models for Named Entity Typing and Recognition

Elena V. Epure, Romain Hennequin|arXiv (Cornell University)|Aug 26, 2021

Topic Modeling被引用数 8

ひとこと要約

本稿では、微調整なしで自己回帰的言語モデル（GPT-2など）におけるゼロショット名前付きエンティティタイプ指定（NET）および少数ショット名前付きエンティティ認識（NER）を評価するための新しいプローブ手法を提案する。メタラーニングと新しい記憶評価技術を活用することで、GPT-2が通常のエンティティおよび記憶済みエンティティに対して良好な性能を示すことが判明した。名前の不規則性は有用な手がかりである一方、文脈は少数ショットNERにおいて限定的な役割を果たすにとどまる。

ABSTRACT

Despite impressive results of language models for named entity recognition (NER), their generalization to varied textual genres, a growing entity type set, and new entities remains a challenge. Collecting thousands of annotations in each new case for training or fine-tuning is expensive and time-consuming. In contrast, humans can easily identify named entities given some simple instructions. Inspired by this, we challenge the reliance on large datasets and study pre-trained language models for NER in a meta-learning setup. First, we test named entity typing (NET) in a zero-shot transfer scenario. Then, we perform NER by giving few examples at inference. We propose a method to select seen and rare / unseen names when having access only to the pre-trained model and report results on these groups. The results show: auto-regressive language models as meta-learners can perform NET and NER fairly well especially for regular or seen names; name irregularity when often present for a certain entity type can become an effective exploitable cue; names with words foreign to the model have the most negative impact on results; the model seems to rely more on name than context cues in few-shot NER.

研究の動機と目的

• 自己回帰的言語モデル（GPT-2など）が微調整なしで名前付きエンティティタイプ指定および認識に一般化できるかどうかを調査すること。
• 少数ショットおよびゼロショットの文脈学習を模倣した、人間の言語行動にインspiredされたプローブ設定を設計すること。
• 事前学習中に名前付きエンティティの記憶状態を評価するための新規手法を開発・適用すること。
• 記憶状態と文脈の影響が、多様なNE認識およびタイプ指定のシナリオにおけるモデル性能に与える影響を評価すること。
• 従来のデータセット分割よりも人間の一般化に近い、現実的なテストフレームワークを提供すること。

提案手法

• GPT-2に自然言語の指示とエンティティタイプ定義をプロンプトとして与えることで、ゼロショット転送戦略を名前付きエンティティタイプ指定（NET）に設計する。
• 名前付きエンティティ認識（NER）を機械的読解（MRC）タスクとしてモデル化し、推論時に少数の例を提示することでモデルを誘導する。
• 事前学習中の名前付きエンティティの記憶状態を分類するための、露出度指標に基づく新規記憶評価手順を導入する。
• 大規模コーパス（DBpedia や CoNLL-2003 など）から、語レベルおよび遷移レベルの統計における露出閾値を用いて、記憶済みおよび未記憶のNEを同定する。
• CoNLL-2003、WNUT2017、MIT Movie、DBpedia といった多様なデータセットを評価対象とし、クリーンおよびノイズ混在のテキスト、および規則的／不規則なNEをカバーする。
• 記憶済み vs. 未記憶のNE間での結果を比較し、少数ショットNERにおける文脈的ヒントの影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの自己回帰的言語モデル（GPT-2など）が、微調整なしでゼロショットまたは少数ショット設定で名前付きエンティティタイプ指定および認識を効果的に行えるか。
• RQ2 事前学習中に名前付きエンティティをどの程度記憶しているかが、未知または希少なエンティティに対するモデル性能に与える影響は何か。
• RQ3 特定のNEタイプに対して頻繁に見られる名前の不規則性が、少数ショットNERにおいてモデルにとって信頼できる手がかりとして機能する程度は何か。
• RQ4 モデルに少数の例しか提示しない状況で、文脈的ヒントが少数ショットNERにどの程度影響を与えるか。
• RQ5 人間のインスピレーションに基づくテスト条件下で、モデルは新しいNEタイプやノイズ混在テキストに対してどのように一般化するか。

主な発見

• GPT-2は微調整なしで、特に規則的かつ記憶済みのエンティティに対して、強いゼロショット性能を示す。
• 16ショットプロンプトを用いて、CoNLL-2003では平均F1スコア0.75、MIT Movieでは0.62、WNUT2017では0.61を達成し、少数ショットNERでも競争力のある性能を示す。
• 特定のNEタイプに対して頻繁に見られる名前の不規則性は、少数ショットNERにおけるモデルの一般化を向上させる有効な利用可能な手がかりである。
• 少数ショットNERにおいて、モデルは文脈的ヒントよりもエンティティの識別子に依存しており、文脈一般化の能力は限定的であることが示唆される。
• 事前学習中に登場しなかった語を含む名前付きエンティティは特に困難であり、モデルの一般化に向けた事前学習露出の重要性が浮き彫りになる。
• 提案された記憶評価手法は、（未）記憶済みNEを効果的に同定でき、記憶状態がNETおよびNERの両タスクにおけるモデル性能に顕著に影響を与えることが判明した。