[論文レビュー] CrossNER: Evaluating Cross-Domain Named Entity Recognition

Zihan Liu, Yan Xu+6 more|arXiv (Cornell University)|Dec 8, 2020

Topic Modeling参考文献 44被引用数 22

ひとこと要約

本稿では、政治、自然科学、音楽、文学、AIの5つの多様な分野をカバーする新しいクロスドメイン NER データセットである CrossNER を紹介する。各分野には分野特化型のエンティティタイプが含まれる。ドメイン特化型の事前学習（DAPT）を提案し、ドメイン固有のコーパスとスパンレベルのマスキングを用いる。エンティティを豊富に含むサブコーパスに注目し、スパンレベルのマスキングを適用することで、ドメイン間で少データ学習（few-shot NER）性能が著しく向上し、既存のベースラインを上回ることを示した。

ABSTRACT

Cross-domain named entity recognition (NER) models are able to cope with the scarcity issue of NER samples in target domains. However, most of the existing NER benchmarks lack domain-specialized entity types or do not focus on a certain domain, leading to a less effective cross-domain evaluation. To address these obstacles, we introduce a cross-domain NER dataset (CrossNER), a fully-labeled collection of NER data spanning over five diverse domains with specialized entity categories for different domains. Additionally, we also provide a domain-related corpus since using it to continue pre-training language models (domain-adaptive pre-training) is effective for the domain adaptation. We then conduct comprehensive experiments to explore the effectiveness of leveraging different levels of the domain corpus and pre-training strategies to do domain-adaptive pre-training for the cross-domain task. Results show that focusing on the fractional corpus containing domain-specialized entities and utilizing a more challenging pre-training strategy in domain-adaptive pre-training are beneficial for the NER domain adaptation, and our proposed method can consistently outperform existing cross-domain NER baselines. Nevertheless, experiments also illustrate the challenge of this cross-domain NER task. We hope that our dataset and baselines will catalyze research in the NER domain adaptation area. The code and data are available at https://github.com/zliucr/CrossNER.

研究の動機と目的

• 既存の NER ベンチマークにおける分野特化型エンティティタイプの欠如と、分野特化型の評価の不足に対処すること。
• 5つの異なる分野（政治、自然科学、音楽、文学、AI）を対象とし、それぞれに固有のエンティティカテゴリを持つ、低リソースなクロスドメイン NER 評価フレームワークを構築すること。
• ドメイン固有のコーパスのサイズとマスキング戦略を変化させたドメイン特化型事前学習（DAPT）の有効性を調査すること。
• 既存の最先端モデルを上回る強力なベースラインを確立すること。

提案手法

• 政治、自然科学、音楽、文学、AI の5つの多様な分野にわたる完全ラベル付き NER データセットをアノテートする。各分野には、'政治家'、'アーティスト'、'バンド'、'楽曲'、'AI モデル' などの分野特化型エンティティタイプが含まれる。
• ドメイン特化型事前学習（DAPT）のための、5つのラベルなしドメイン関連コーパスを収集する。これにより、モデルのターゲットドメインへの一般化性能が向上する。
• ドメイン固有のコーパス上で BERT を微調整することで DAPT を実装し、コーパスのサイズと構成に関するアブレーションスタディを実施する。
• DAPT において、連続するスパンをマスキングする新しいスパンレベルのマスキング戦略を実装する。これにより、文脈理解が強化される。
• 直接微調整（Direct Fine-tune）、事前学習後に微調整（Pre-train then Fine-tune）、共同学習（Jointly Train）の複数の戦略を、低リソース設定下で比較する。
• 統合されたドメインコーパスとスパンレベルのマスキングを用いることで、分野特化型エンティティへのモデル適合性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有コーパスのサイズと構成は、低リソース設定下でのクロスドメイン NER 性能にどのように影響するか？
• RQ2 ドメイン特化型事前学習中にスパンレベルのマスキング（連続するスパンをマスキング）を適用すると、標準的なトークンレベルのマスキングに比べて NER 性能が向上するか？
• RQ3 ソースドメインの NER データを活用すると、'アーティスト' や 'バンド' のような分野特化型エンティティタイプの性能にどの程度悪影響が及ぶか？
• RQ4 ターゲットドメインの訓練サンプル数が減少するにつれて性能はどの程度低下し、DAPT はその低下を緩和できるか？
• RQ5 スパンレベルのマスキングとドメイン固有コーパス選択を統合した包括的な DAPT 策略は、既存のクロスドメイン NER ベースラインを一貫して上回るか？

主な発見

• DAPT 時に、分野特化型エンティティ（例：政治における '政治家'）を含むコーパスの一部のみを用いることで、全コーパスを用いる場合に比べ、ターゲットドメインエンティティの性能が著しく向上する。
• 連続するスパンをマスキングするスパンレベルのマスキングは、標準的なトークンレベルのマスキングを常に上回り、音楽ドメインでは F1 スコアを最大で 10.15 ポイント向上させる。
• ターゲットドメインで 10 個の訓練サンプルしか利用できない状況でも、DAPT を用いた Pre-train そして Fine-tune 戦略が Direct Fine-tune より約 10 F1 ポイント高い性能を示し、少データ適応性の高さを実証した。
• 最良のモデルは、スパンレベルのマスキングと統合コーパスを用いた Pre-train そして Fine-tune の設定下で、音楽ドメインで F1 スコア 80.54 を達成し、既存のベースラインを上回った。
• 一般カテゴリ（例：'person' や 'organization'）の性能は、'アーティスト' や 'バンド' のような分野特化型エンティティの性能よりも高い傾向にあり、階層的カテゴリの重複による誤分類が原因で性能が低下している。
• ターゲットドメインのサンプルサイズが減少するにつれて、Pre-train そして Fine-tune と Jointly Train の性能差が拡大するため、前者が低リソースターゲットドメインにより焦点を当てて学習できていることが示された。