[論文レビュー] Neural Adaptation Layers for Cross-domain Named Entity Recognition

Bill Yuchen Lin, Wei Lu|arXiv (Cornell University)|Oct 15, 2018

Topic Modeling参考文献 36被引用数 4

ひとこと要約

本稿では、ソースドメインのデータを再トレーニングせずに、効果的なクロスドメイン名前付きエンティティ認識を可能にする軽量なニューラル適応層—単語、文、出力適応層—を提案する。知識移転の制御に1つの可学習ハイパーパramータを導入することで、ベンチマークNERデータセット上で既存のトランスファーラーニング手法を著しく上回り、最小限の計算オーバーヘッドでドメイン間で強力な一般化を示す。

ABSTRACT

Recent research efforts have shown that neural architectures can be effective in conventional information extraction tasks such as named entity recognition, yielding state-of-the-art results on standard newswire datasets. However, despite significant resources required for training such models, the performance of a model trained on one domain typically degrades dramatically when applied to a different domain, yet extracting entities from new emerging domains such as social media can be of significant interest. In this paper, we empirically investigate effective methods for conveniently adapting an existing, well-trained neural NER model for a new domain. Unlike existing approaches, we propose lightweight yet effective methods for performing domain adaptation for neural models. Specifically, we introduce adaptation layers on top of existing neural architectures, where no re-training using the source domain data is required. We conduct extensive empirical studies and show that our approach significantly outperforms state-of-the-art methods.

研究の動機と目的

• ソーシャルメディアなど新しいドメインに適用した際のニューラルNERモデルの性能低下を緩和すること。
• 既存のトランスファーラーニング手法の制限、例えば共通の入力／出力空間を仮定するというきめ細かさの欠如、およびソースデータの再トレーニングの必要性を克服すること。
• 事前学習済みソースモデルの知識を保持しながら、ターゲットドメインに適応できる軽量で効率的な適応メカニズムを開発すること。
• ドメインシフトを橋渡しする専用の適応層を導入することで、入力および出力レベルの両方でドメイン適応を可能にすること。
• 他のNLP分野のクロスドメイン構造予測タスクにも適用可能な汎用的なフレームワークを提供すること。

提案手法

• ソースドメインとターゲットドメインの単語埋め込み間の線形変換を学習する単語適応層を導入し、ドメイン不変の表現を可能にする。
• 双方向LSTMを用いて文レベルの文脈的ドメインシフトをモデル化する文適応層を採用し、ソースおよびターゲットの入力シーケンス間の整合性を向上させる。
• LSTMとCRF層の間に出力適応層を追加し、ドメイン間でのラベル分布の構造的差異をモデル化する。
• ソースモデルからの知識移転の程度を制御するための1つの可学習ハイパーパramータ ψ を使用する。これにより柔軟な適応が可能になる。
• 元のモデル重みを微調整せずに、事前学習済みのBLSTM-CRFモデルの上に適応層を適用することで、効率性と再利用性を確保する。
• 適応層は、適応段階でソースドメインデータを必要とせず、ターゲットドメインのラベル付きデータのみで学習される。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインモデルの再トレーニングなしに、クロスドメインNERのパフォーマンスを向上させることは可能か？
• RQ2 モジュール型でレイヤーワイズの適応戦略は、入力、隠れ層、出力レベルの両方でドメインシフトを効果的に橋渡しできるか？
• RQ3 軽量でプラグアンドプレイなメカニズムにより、INIT や MULT といった既存のトランスファーラーニングベースラインを上回るパフォーマンスを達成できるか？
• RQ4 ハイパーパramータ ψ は、ソース知識の保持とターゲットドメインへの適応のトレードオフにどのように影響するか？
• RQ5 提案手法はNERを越えて、他の構造予測タスクにも一般化可能か？

主な発見

• 提案手法は、INIT や MULT といった最先端のトランスファーラーニングベースラインを、複数のクロスドメインNERベンチマークで著しく上回る。
• アブレーションスタディにより、各適応層（単語、文、出力）が独立してかつ累積的にパフォーマンス向上に寄与することが確認された。
• 語彙的およびラベル分布の面でソースドメインとターゲットドメインに顕著なドメインシフトがある場合でも、強力なパフォーマンスを達成した。
• モデルは高い効率性を維持しており、ソースデータの再トレーニングが不要で、ターゲットデータでのみ微調整が行われるため、実世界のデプロイメントに実用的である。
• ハイパーパramータ ψ により知識移転の制御が有効に可能であり、異なるドメインペアにおいても最適値が安定している。
• アーキテクチャの変更なしに、任意の事前学習済みニューラルNERモデルに適用可能であるため、一般化性能が優れている。