[論文レビュー] Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network

Yutai Hou, Wanxiang Che+5 more|arXiv (Cornell University)|Jun 10, 2020

Topic Modeling参考文献 34被引用数 7

ひとこと要約

本稿では、クローズドドメイン依存性転送とラベル強化型タスク適応型プロジェクションネットワーク（L-TapNet）を組み合わせた few-shot スロットタギングフレームワークを提案する。この手法により、ラベル名の意味的特徴を活用し、ドメイン固有の依存関係を転送可能なパターンに抽象化することで、単語-ラベル類似度モデリングを向上させる。ラベル名の意味的特徴を活用し、ドメイン固有の依存関係を転送可能なパターンに抽象化することで、1ショット設定において最も強力なベースライン比でF1スコアを14.64ポイント向上させる。

ABSTRACT

In this paper, we explore the slot tagging with only a few labeled support sentences (a.k.a. few-shot). Few-shot slot tagging faces a unique challenge compared to the other few-shot classification problems as it calls for modeling the dependencies between labels. But it is hard to apply previously learned label dependencies to an unseen domain, due to the discrepancy of label sets. To tackle this, we introduce a collapsed dependency transfer mechanism into the conditional random field (CRF) to transfer abstract label dependency patterns as transition scores. In the few-shot setting, the emission score of CRF can be calculated as a word's similarity to the representation of each label. To calculate such similarity, we propose a Label-enhanced Task-Adaptive Projection Network (L-TapNet) based on the state-of-the-art few-shot classification model -- TapNet, by leveraging label name semantics in representing labels. Experimental results show that our model significantly outperforms the strongest few-shot learning baseline by 14.64 F1 scores in the one-shot setting.

研究の動機と目的

• 新しいドメインにおいてラベル付き例が僅かにしか存在しない低リソースなスロットタギングの課題に対処すること。
• ラベルセットが不一致であるドメイン間でラベル依存関係を転送する困難さを克服すること。
• ラベル名の意味的特徴をラベル表現に組み込むことで、few-shot設定における単語-ラベル類似度モデリングを向上させること。
• ラベル付きデータが極めて限られた状況でCRFの遷移スコアを推定する手法を開発すること。
• 低ショット状況下で単語-ラベル類似度とラベル間依存関係を同時にモデリングすることで、効果的なシーケンスラベリングを実現すること。

提案手法

• 射影された埋め込み空間における単語-ラベル類似度として発射スコアを計算するfew-shot CRFフレームワークを導入する。
• ラベル名の意味的特徴を活用してラベル表現の分離を向上させる、TapNetのラベル強化型変種であるL-TapNetを提案する。
• ドメイン固有のラベルをドメインに依存しない抽象ラベルに要約することで、事前ラベル依存パターンを転送する「畳み込み依存性転送（CDT）」機構を設計する。
• ドメイン固有の文脈を持つ単語をより良い類似度計算のためにペアワイズ埋め込みで表現する。
• ソースドメインで学習して転送可能なラベル依存関係と単語-ラベル類似度を学習し、その後、わずかなサポート例でのみターゲットドメインでファインチューニングする。
• CDT機構を用いてCRFの遷移スコアを推定する。この機構はソースドメインから抽象的依存パターンを学習し、ラベルセットが異なる未観測のターゲットドメインに適用する。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインからの事前ラベル依存知識が、ラベルセットが異なるターゲットドメインにおいて、few-shotスロットタギングで効果的に転送可能か。
• RQ2 ラベル表現にラベル名の意味的特徴を組み込むことで、低リソース状況下での単語-ラベル類似度モデリングが向上するか。
• RQ3 畳み込み依存性転送（CDT）機構は、ルールベースまたはナイーブな遷移スコア評価を上回るか。
• RQ4 L-TapNetは、標準的なプロトタイプネットワークと比較して、ラベル表現の分離をどの程度向上させるか。
• RQ5 提案モデルの構成要素（L-TapNetとCDT）は、性能向上に個別および相乗的に寄与しているか。

主な発見

• 提案モデルは、1ショット設定において、最も強力なfew-shot学習ベースライン比でF1スコアを14.64ポイント向上させる。
• L-TapNetは、ラベル名の意味的特徴を活用することで、ラベル表現を著しく向上させ、分離された埋め込みと高い単語-ラベル類似度精度を実現する。
• 畳み込み依存性転送（CDT）は、ルールベースの遷移スコア評価を上回り、特にスロット境界と内部スロット遷移の予測において優れた性能を示す。
• アブレーションスタディにより、L-TapNetとCDTが性能向上に独立してかつ相乗的に寄与していることが確認される。
• モデルは、ドメインに依存しない非自明なラベル依存パターンを捉えており、最小限のラベル付きデータで多様なターゲットドメインに効果的に適用可能である。