[論文レビュー] Named Entity Recognition for Novel Types by Transfer Learning

Lizhen Qu, Gabriela Ferraro+3 more|arXiv (Cornell University)|Oct 31, 2016

Topic Modeling参考文献 19被引用数 11

ひとこと要約

本稿では、ラベルセットが不一致である新しいドメインにおける少数ショット命名エンティティ認識のための転移学習手法TransInitを提案する。ソースドメインのCRFモデルを活用し、線形分類器を用いてソースとターゲットのエンティティタイプ間の意味的相関を学習することで、125件のドメイン内トレーニング文のみを用いて、強力なベースライン比で最大160%のF1スコア向上を達成する。

ABSTRACT

In named entity recognition, we often don't have a large in-domain training corpus or a knowledge base with adequate coverage to train a model directly. In this paper, we propose a method where, given training data in a related domain with similar (but not identical) named entity (NE) types and a small amount of in-domain training data, we use transfer learning to learn a domain-specific NE model. That is, the novelty in the task setup is that we assume not just domain mismatch, but also label mismatch.

研究の動機と目的

• ドメイン内ラベルデータが乏しく、ターゲットエンティティタイプがソースドメインとは異なる状況において、効果的なNERモデルを訓練する課題に対処すること。
• ソースドメインとターゲットドメインのラベルセットが同一であると仮定する標準的なドメイン適応の制限を克服すること。
• ソースとターゲットの命名エンティティタイプ間の意味的関係をモデル化することで、ドメインおよびラベルセットの不一致を含む転移学習を可能にすること。
• 特に高カバレッジの知識ベースが利用できない状況において、少数のドメイン内トレーニング例のみを用いて少数ショットNERのパフォーマンスを向上させること。
• 学習されたエンティティタイプ間の意味的相関が、リソースが限られた環境下でのモデル初期化およびファインチューニングを効果的にガイドできることを示すこと。

提案手法

• 大規模で事前にアノテート済みのソースドメインコーパス上で線形チェーンCRFを学習し、強力なベースラインモデルを確立する。
• 最初の層をソースモデルの重みから初期化した2層のニューラルネットワークを用いて、ソースとターゲットの命名エンティティタイプ間の相関を学習する。
• 学習された相関行列を用いてターゲットドメインのCRFを初期化し、ソースタイプからターゲットタイプへ知識を転送する。
• ドメイン固有のパターンに適応するため、少量のドメイン内ラベルデータ上で全モデルをファインチューニングし、すべてのパラメータを更新する。
• 特徴転送の影響を評価するため、下層を固定して線形分類子のみを更新するアブレーションバリアントを検討する。
• 特徴表現が固定されている場合と比較して、ニューラルネットワークの隠れ層を更新することで、共変量シフトに対処できるようになる。

実験結果

リサーチクエスチョン

• RQ1 ドメインとラベルセットの両方が不一致である状況において、転移学習がソースドメインとターゲットドメインのギャップを効果的に埋め合わせることができるか？
• RQ2 直接的なラベルオーバーラップがない状況において、モデルがソースとターゲットの命名エンティティタイプ間の意味的関係をどれほどうまく学習できるか？
• RQ3 特徴とラベル相関の転送が、標準ベースラインと比較して少数ショットNERパフォーマンスにどの程度向上効果をもたらすか？
• RQ4 ファインチューニング時に隠れ層を更新するか、固定するかの違いが、特にリソースが限られた状況でパフォーマンスに与える影響は？
• RQ5 例えばCADEC-CoNLL設定のように、ソースとターゲットドメインのエンティティタイプ間に意味的関連性がない場合、本手法はどの程度頑健か？

主な発見

• 125件のドメイン内文書での学習において、TransInitは強力なベースライン比で最大160%のF1スコア向上を達成する。
• 300件未満のトレーニング文でさえ、TransInitはベースラインEmbed比で10倍高いF1スコアを達成する。これは、自動的に発見された意味的相関のおかげである。
• 本手法は、ソースとターゲット間に共通タイプが存在しない状況でも、意味的に適切なタイプマッピング（例：DOCTOR → PERSON、ID → CARDINAL）を効果的に特定する。
• 特に少量のトレーニングデータで、CCAベースの手法よりも優れたタイプマッピング性能を示す。これは、意味的類似度をより適切にモデル化しているためである。
• 非線形隠れ層を削除すると性能が著しく向上する。これは、非正規化されたソース確率がtanh関数で飽和するのを防ぐためである。
• ファインチューニング時に隠れ層を更新すると、固定した場合と比較して最大27%高いF1スコアが得られる。これは、共変量シフトに対処するための低レベル特徴の適応が重要であることを示している。