[論文レビュー] Zero-Resource Cross-Domain Named Entity Recognition

Zihan Liu, Genta Indra Winata+1 more|arXiv (Cornell University)|Feb 14, 2020

Topic Modeling参考文献 23被引用数 6

ひとこと要約

本稿では、ターゲットドメインに外部のラベル付きまたはラベルなしデータを一切必要としないゼロリソース跨ドメインネームエントイティ認識（NER）モデルを提案する。名前付きエンティティの検出と、曖昧なエンティティタイプを処理するためのエンティティエキスパートの混合（MoEE）フレームワークを組み合わせたマルチタスク学習により、膨大なリソースに依存する最先端手法に近い性能を達成し、低リソース環境下での強力な汎化性能を示した。

ABSTRACT

Existing models for cross-domain named entity recognition (NER) rely on numerous unlabeled corpus or labeled NER training data in target domains. However, collecting data for low-resource target domains is not only expensive but also time-consuming. Hence, we propose a cross-domain NER model that does not use any external resources. We first introduce a Multi-Task Learning (MTL) by adding a new objective function to detect whether tokens are named entities or not. We then introduce a framework called Mixture of Entity Experts (MoEE) to improve the robustness for zero-resource domain adaptation. Finally, experimental results show that our model outperforms strong unsupervised cross-domain sequence labeling models, and the performance of our model is close to that of the state-of-the-art model which leverages extensive resources.

研究の動機と目的

• ターゲットドメインにラベル付きデータが存在しない低リソース跨ドメインNERの課題に対処すること。
• 元のドメインおよびターゲットドメインの両方で外部のラベルなしコーパスを必要とする従来の非教師あり跨ドメインNER手法の制限を克服すること。
• 外部リソースを一切使用せず、ソースドメインのラベル付きデータのみを用いて、ドメイン間で良好に汎化するモデルを開発すること。
• 曖昧な文脈における名前付きエンティティの認識とエンティティタイプの区別を強化し、耐性を高めること。
• リソース集約的な最先端モデルと同等の性能をゼロリソース環境下で達成すること。

提案手法

• 名前付きエンティティか否かを分類するマルチタスク学習目的を導入し、一般化されたエンティティ表現学習を向上させる。
• 共通パラメータを共有するタスク間でシーケンスラベリングとエンティティ検出を統合するためのBiLSTM-CRFアーキテクチャを採用する。
• 各エキスパートが特定のエンティティタイプに特化し、ゲート機構が予測を動的に統合するMixture of Entity Experts（MoEE）フレームワークを設計する。
• ドメイン適応を向上させるために、ソースドメインのNERデータと補助的エンティティ検出タスクの両方を用いてモデルを訓練する。
• トークンの文脈に基づき、複数のエキスパートからの表現を集約するMoEEモジュールを導入し、曖昧なエンティティタイプの処理を改善する。
• 入力表現としてフリーズされたFastText埋め込みまたは微調整されたBERTを用い、その影響をアブレーションスタディで評価する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットドメインに外部データを一切使用しない跨ドメインNERモデルは、強力な性能を達成できるか？
• RQ2 補助的エンティティ検出タスクを用いたマルチタスク学習は、ゼロリソースドメイン適応をどの程度向上させるか？
• RQ3 エンティティエキスパートの混合（MoEE）フレームワークは、ドメインをまたいで曖昧なエンティティタイプの認識を改善できるか？
• RQ4 本手法は、ソースおよびターゲットドメインの両方で大規模なラベルなしコーパスを必要とする最先端モデルと比べてどのように性能を発揮するか？
• RQ5 フリーズされた埋め込みと微調整されたBERTを用いる場合、どちらがゼロリソースNERでより優れた性能を発揮するか？

主な発見

• 提案手法は、FastText埋め込みの設定に関わらず、Concept Tagger や Robust Sequence Tagger などの強力な非教師あり跨ドメインシーケンスタギングベースラインを、すべての設定で上回った。
• フリーズされたFastText埋め込みを用いた場合、ターゲットドメインでのF1スコアは73.59に達し、膨大な外部リソースを活用する最先端モデルに非常に近い性能を示した。
• フリーズされたFastText埋め込みを用いた場合の性能が、フリーズされていない埋め込みを上回った。これは、微調整がソースドメインで過学習を引き起こす可能性があることを示唆している。
• MoEEモジュールは曖昧なエンティティを効果的に処理しており、図2の信頼度スコアから、"Drudge" などのトークンが複数のエキスパート（例：PER と ORG）から高い注目度を得ていることが示された。
• BERTベースの特徴量を用いたモデルは、フリーズされたFastTextよりもわずかに性能が低かった。これは、サブワードトークン化がシーケンスタギングに不可欠な単語レベルの情報を損なう可能性があるためだと考えられる。
• マルチタスク学習目的は、特にエンティティ名がドメイン間で大きく異なる低リソースドメインにおいて、名前付きエンティティ検出能力を顕著に向上させた。