[論文レビュー] Few-shot sequence labeling with label dependency transfer

Yutai Hou, Zhihan Zhou+5 more|arXiv (Cornell University)|Jun 20, 2019

Topic Modeling参考文献 28被引用数 7

ひとこと要約

本稿では、ドメイン間でラベルセットの不一致を解消するために、抽象的なラベル遷移パターンをドメイン間で転送する few-shot sequence labeling フレームワークを提案する。sequence matching network と CRF を組み合わせ、依存転送を適用することで、1-shot 設定における slot tagging と named entity recognition で、強力なベースラインよりそれぞれ 7.96 および 11.70 F1 ポイントの向上を達成した。

ABSTRACT

Few-shot sequence labeling faces a unique challenge compared with the other fewshot classification problems, owing to the necessity for modeling the dependencies between labels. Different domains often have different label sets, which makes it difficult to directly utilize the label dependencies learned from one domain in another domain. In this paper, we introduce the dependency transfer mechanism that addresses such label-discrepancy problem. The dependency transfer mechanism learns the abstract label transition patterns from the source domains and generalizes such patterns in the target domain to benefit the prediction of a label sequence. We also develop the sequence matching network by adapting the matching network to sequence labeling case. Moreover, we propose a CRF-based few-shot sequence labeling framework to integrate both the dependency transfer mechanism and the sequence matching network. Experiments on slot tagging (ST) and named entity recognition (NER) datasets show that our model significantly outperforms the strongest few-shot learning baseline by 7.96 and 11.70 F1 scores respectively in the 1-shot setting.

研究の動機と目的

• ドメイン間でのラベルセットの不一致を、few-shot sequence labeling において解決すること。
• ソースドメインから一般化可能な抽象的なラベル遷移パターンを学習し、ターゲットドメインに適用すること。
• ラベル依存関係の転送と sequence matching を統合することで、few-shot sequence labeling のパフォーマンスを向上させること。
• マッチングネットワークと依存転送を統合した CRF を用いたフレームワークを構築すること。

提案手法

• 依存転送メカニズムは、ソースドメインから抽象的なラベル遷移パターンを学習し、ラベルセットが異なるターゲットドメインに一般化する。
• sequence matching network は、マッチングネットワークを変更して、順序付き入力とラベル予測を処理するように適応した。
• CRF を用いたフレームワークは、sequence matching network と依存転送を統合し、連鎖的なシーケンスラベリングを実現する。
• ラベル遷移パターンは、特定のラベル語彙に依存せずに抽象化され、ドメイン間での一般化を可能にする。
• モデルは推論時に、サポートシーケンスとクエリシーケンスをアライメントするためにアテンション機構を用いる。
• CRF レイヤーは隣接するラベル間の依存関係をモデル化することで、ラベルシーケンスの一貫性を保証する。

実験結果

リサーチクエスチョン

• RQ1 ラベルセットが異なるドメイン間で、抽象的なラベル遷移パターンを、few-shot sequence labeling において効果的に転送できるか？
• RQ2 sequence matching と依存転送を統合することで、few-shot sequence labeling のパフォーマンスがどのように向上するか？
• RQ3 提案されたフレームワークは、既存の few-shot 学習ベースラインをどの程度上回るか？
• RQ4 微調整なしで、未学習のラベルセットに一般化できるか？

主な発見

• 1-shot 設定における slot tagging データセットでは、最も強力なベースラインより 7.96 F1 の向上を達成した。
• 1-shot 設定における named entity recognition データセットでは、最も強力なベースラインより F1 が 11.70 ポイント向上した。
• 依存転送メカニズムは、ラベルセットが異なるドメイン間で、ラベル遷移パターンを効果的に一般化した。
• sequence matching と CRF を用いたデコードの統合により、シーケンスレベルの予測精度が顕著に向上した。