[論文レビュー] Transfer Learning for Sequence Labeling Using Source Model and Target Data

Lingzhen Chen, Alessandro Moschitti|arXiv (Cornell University)|Feb 14, 2019

Topic Modeling参考文献 20被引用数 16

ひとこと要約

本論文は、元のデータにアクセスできない状況下で、新しいエンティティカテゴリを含むターゲットドメインに事前学習済みのソースモデルを適応させるための転移学習手法を提案する。ニューラルアダプタを導入し、ソースとターゲットのラベル分布を一致させることで、特にターゲットデータが限られる状況でも、I-CABでは最大10.30 F1ポイント、CONLL-2003では1.83 F1ポイントの向上を達成する。

ABSTRACT

In this paper, we propose an approach for transferring the knowledge of a neural model for sequence labeling, learned from the source domain, to a new model trained on a target domain, where new label categories appear. Our transfer learning (TL) techniques enable to adapt the source model using the target data and new categories, without accessing to the source data. Our solution consists in adding new neurons in the output layer of the target model and transferring parameters from the source model, which are then fine-tuned with the target data. Additionally, we propose a neural adapter to learn the difference between the source and the target label distribution, which provides additional important information to the target model. Our experiments on Named Entity Recognition show that (i) the learned knowledge in the source model can be effectively transferred when the target data contains new categories and (ii) our neural adapter further improves such transfer.

研究の動機と目的

• 新しいドメインに、新規のエンティティカテゴリが出現する状況で、事前学習済みの系列ラベリングモデルを適応させる課題に対処すること。
• ソース学習データにアクセスできない状況でも、ソースモデルからターゲットモデルへの知識転送を可能にすること。
• 新規カテゴリの導入に伴う、深刻な忘却（catastrophic forgetting）とアノテーションの不一致を軽減すること。
• 特にラベル付きターゲットデータが少ない状況でも、新規エンティティタイプの性能を向上させること。
• NERにとどまらず、他の系列ラベリングタスクに対しても本手法の汎用性を示すこと。

提案手法

• 未確認のカテゴリ用に新しい出力ニューロンを追加し、それらをソースモデルの重みで初期化することで、ターゲットデータ上で事前学習済みのBLSTM-CRFモデルを微調整する。
• ソースモデルの隠れ状態とターゲットモデルの入力を接続するニューラルアダプタを導入し、特徴レベルでの知識転送を可能にする。
• ソースとターゲットのラベル分布の文脈的差異を表現するために、アダプタに双方向LSTMを用いる。
• アダプタを含めたターゲットモデルをエンドツーエンドで学習し、ソースモデルのパラメータは更新しないように固定する。
• ソースモデルのパラメータで初期化された新しい出力層のニューロンを、見慣れないカテゴリを含むターゲットデータ上で微調整する。
• 推論時に系列の一貫性を保つために、CRFデコードを適用する。

実験結果

リサーチクエスチョン

• RQ1 ソースデータにアクセスできない状況で、新規エンティティカテゴリを含む新しいドメインに、事前学習済みの系列ラベリングモデルを効果的に適応できるか？
• RQ2 ソースモデルからのパラメータ初期化が、ターゲットドメインにおける新規カテゴリの性能にどのように影響するか？
• RQ3 特にラベル付きターゲットデータが限られる状況で、ニューラルアダプタがどれほど転移性能を向上させるか？
• RQ4 アダプタは、新しいラベルへの適応に伴う、以前に学習したカテゴリの忘却を軽減するのを助けるか？
• RQ5 本手法は、さまざまな系列ラベリングタスクやデータセットに対してどれほど汎用性を示すか？

主な発見

• 提案手法により、新規エンティティカテゴリにおけるF1スコアが顕著に向上し、ベースラインと比較してCONLL-2003では平均1.83ポイント、I-CABでは10.30ポイントの向上を達成した。
• ニューラルアダプタは、特にターゲットデータの10–25％しか利用できない状況でも、新規カテゴリの性能向上に一貫して寄与した。
• アダプタを搭載したモデルは、微調整段階でより速く収束し、滑らかで安定した学習曲線を示した。
• アダプタは、新規カテゴリの表層形が以前に異なる方法でラベル付けされていたり、まったくラベルが付いていなかったりするようなアノテーションの不一致の影響を軽減した。
• 新規カテゴリへの適応と同時に、以前に学習したカテゴリの深刻な忘却を効果的に防止した。
• 本手法は、LOC、PER、ORG、MISC、GPEといったさまざまなエンティティタイプにわたり、両データセットで一貫した改善を示し、汎用性が高かった。