[論文レビュー] Few-Shot Sequence Labeling with Label Dependency Transfer and Pair-wise Embedding

Yutai Hou, Zhihan Zhou+5 more|arXiv (Cornell University)|Jun 20, 2019

Topic Modeling参考文献 22被引用数 7

ひとこと要約

本稿では、ラベル集合が異なるドメイン間でラベル依存関係を転送する仕組みと、ペアワイズ埋め込みによるトークン類似度統合を組み込んだCRFベースの少数ショット序列ラベリングフレームワークを提案する。文脈に適応した表現と転送可能なラベル遷移パターンを統合的にモデリングすることで、スロットタギングとNERの両分野で最先端の性能を達成し、1ショットのスロットタギングではF1が11.76点（+21.2%）向上、1ショットのNERでは12.18点（+97.7%）向上した。

ABSTRACT

While few-shot classification has been widely explored with similarity based methods, few-shot sequence labeling poses a unique challenge as it also calls for modeling the label dependencies. To consider both the item similarity and label dependency, we propose to leverage the conditional random fields (CRFs) in few-shot sequence labeling. It calculates emission score with similarity based methods and obtains transition score with a specially designed transfer mechanism. When applying CRF in the few-shot scenarios, the discrepancy of label sets among different domains makes it hard to use the label dependency learned in prior domains. To tackle this, we introduce the dependency transfer mechanism that transfers abstract label transition patterns. In addition, the similarity methods rely on the high quality sample representation, which is challenging for sequence labeling, because sense of a word is different when measuring its similarity to words in different sentences. To remedy this, we take advantage of recent contextual embedding technique, and further propose a pair-wise embedder. It provides additional certainty for word sense by embedding query and support sentence pairwisely. Experimental results on slot tagging and named entity recognition show that our model significantly outperforms the strongest few-shot learning baseline by 11.76 (21.2%) and 12.18 (97.7%) F1 scores respectively in the one-shot setting.

研究の動機と目的

• ラベルデータが乏しく、ドメイン間でラベル集合が異なる状況における少数ショット序列ラベリングの課題に対処すること。
• 低リソース環境下でトークン類似度とラベル依存関係を統合的にモデリングすることで、序列ラベリングの性能を向上させること。
• 少数ショット学習におけるクエリ・サポートペアのペアワイズ文脈を活用して、語義の曖昧さを低減すること。
• ドメイン固有のラベルを抽象化ラベルに変換し、それらの間の遷移パターンを学習することで、ラベル集合が異なるドメイン間でラベル依存関係を転送すること。
• 依存関係転送が手動で設計された遷移ルールを上回り、少数ショット状況下でラベリング精度を向上させることを示すこと。

提案手法

• 条件付き確率場（CRF）を用いて序列ラベリングをモデリングし、発生スコアは類似度ベースの手法で、遷移スコアは依存関係転送メカニズムによって学習する。
• クエリ文とサポート文のトークンを自己注意機構を用いて同時に符号化するペアワイズエンコーダーを導入し、文脈に適した語の意味表現を向上させる。
• ドメイン固有のラベルを抽象ラベルに要約し、それらの間の遷移パターンを学習することで、ドメイン間でのラベル依存関係を転送する機構を適用する。
• 文脈埋め込み（例：BERT風）を用いて豊かな意味表現を捉え、それらを用いて発生スコアの類似度計算に活用する。
• 複数のソースドメインで学習し、1クラスあたり1～5例のラベル付き例のみを用いてターゲットドメインに適応させる。この際、ラベル依存関係とトークン類似度の事前知識を活用する。
• プロトタイプベースの類似度メカニズムを用いて発生スコアを計算し、各トークンの表現をサポートセットのプロトタイプと比較する。

実験結果

リサーチクエスチョン

• RQ1 ラベル集合が異なるドメイン間で、ラベル依存関係の転送が少数ショット序列ラベリングの性能向上に有効に機能するか？
• RQ2 クエリとサポートシーケンスのペアワイズ埋め込みが、語の意味の曖昧さを低減させ、類似度ベース分類を向上させるか？
• RQ3 手動で設計された遷移ルールと比較して、依存関係転送は正確性とドメイン間一般化性能においてどのように差をつけるか？
• RQ4 トークン類似度とラベル依存関係の統合的モデリングが、低リソース環境下での性能向上にどの程度寄与するか？
• RQ5 全体の性能向上に、依存関係転送とペアワイズ埋め込みのそれぞれがどの程度寄与しているか？

主な発見

• 提案手法は、1ショットスロットタギングにおいて、最も強力なベースライン比でF1スコアを11.76点（相対的に+21.2%）向上させた。
• 1ショットネーミングド・エンティティ認識（NER）では、F1スコアが12.18点（相対的に+97.7%）向上し、優れた一般化性能を示した。
• 依存関係転送は、手動で設計された遷移ルールを著しく上回り、特にラベルスパンの境界検出や不正な遷移の低減において顕著な効果を示した。
• アブレーションスタディの結果、ペアワイズ埋め込みと依存関係転送の両方が、独立してかつ顕著に性能向上に寄与していることが確認された。
• 依存関係転送機構は、単純なルールでは容易にモデル化できない、非自明で転送可能なラベル遷移パターンを捉えられていた。
• 精度分析の結果、依存関係転送はすべてのバイグラムタイプ（特にB-OおよびI-Oペア）において予測精度を向上させており、特に境界遷移と内部遷移の処理で最大の向上を示した。