[論文レビュー] Diverse Few-Shot Text Classification with Multiple Metrics

Mo Yu, Xiaoxiao Guo+7 more|ArXiv.org|May 19, 2018

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 25

ひとこと要約

本稿では、タスククラスタリングを用いて学習された複数のメトリクスを活用することで、多様で現実世界のNLPタスクにおいて性能を向上させる、多様な few-shot テキスト分類フレームワークを提案する。タスク間の転移性能に基づいてメタトレーニングタスクをクラスタリングし、スパースなタスク類似度を補完するための行列補完を適用することで、クラスタ固有のメトリクスを適応的に組み合わせ、感情分析および意図分類ベンチマークで最先端の精度を達成する。

ABSTRACT

We study few-shot learning in natural language domains. Compared to many existing works that apply either metric-based or optimization-based meta-learning to image domain with low inter-task variance, we consider a more realistic setting, where tasks are diverse. However, it imposes tremendous difficulties to existing state-of-the-art metric-based algorithms since a single metric is insufficient to capture complex task variations in natural language domain. To alleviate the problem, we propose an adaptive metric learning approach that automatically determines the best weighted combination from a set of metrics obtained from meta-training tasks for a newly seen few-shot task. Extensive quantitative evaluations on real-world sentiment analysis and dialog intent classification datasets demonstrate that the proposed method performs favorably against state-of-the-art few shot learning algorithms in terms of predictive accuracy. We make our code and data available for further study.

研究の動機と目的

• タスクが多様で一様に関連していない少数-shotテキスト分類において、単一メトリクスアプローチの限界を解消すること。
• 深層ネットワークと可変なラベルセットに適合可能なタスククラスタリング手法を開発し、クラスタ固有のメトリクス学習を可能にすること。
• メタトレーニングクラスタに対するターゲットタスクの類似度に応じてカスタマイズされた複数メトリクスを組み合わせることで、少数-shot一般化性能を向上させること。
• ドメイン、ラベル数、データ分布が異なる実際の企業環境においても、効果的な少数-shot学習を可能にすること。

提案手法

• タスク間の転移性能を用いて、タスク類似度行列 S を構築し、S[i,j] はタスク i をタスク j に適応した際の精度を推定する。
• 類似度行列 S の欠損値および信頼性の低いエントリを補完するための行列補完を適用し、不完全なデータに対してもロバストな性能を確保する。
• 補完された行列 S を用いてスペクトルクラスタリングを実行し、K 個のクラスタにメタトレーニングタスクをグループ化する。各クラスタは共有メトリクスを有する。
• 各クラスタごとに深層埋め込みネットワークを学習し、入力ペアを類似度スコアにマップするタスク固有メトリクス Λ_k を学習する。
• 推論段階では、すべてのクラスタのメトリクスを学習された重み α_k を用いて組み合わせ、各ターゲットタスクに対して重み付き線形結合を形成する。
• 組み合わせ重みをメタラーニングにより最適化することで、最終的なメトリクスがターゲットタスクの特徴に適応的に適合できることを保証する。

実験結果

リサーチクエスチョン

• RQ1 単一の共有メトリクスと比較して、複数のタスク固有メトリクスを用いることで、少数-shotテキスト分類の性能が向上するか？
• RQ2 タスクのクラス数が異なり、一様に関連していない状況下で、効果的なタスククラスタリングをどのように実現できるか？
• RQ3 タスク間転移性能に行列補完を適用することで、多様な少数-shotタスクに対してロバストで汎用性のあるタスククラスタリングが可能になるか？
• RQ4 提案手法は、既存の単一メトリクスまたは最適化ベースの少数-shot学習アプローチを、現実世界のテキスト分類ベンチマークで上回ることができるか？

主な発見

• 提案手法 RobustTC-FSL は、5つのクラスタを用いて Amazon レビューデータセットで 83.12% の精度を達成し、ベースラインの ASAP-MT-LR 法（82.65%）を上回った。
• SNIPS ダイアログ意図分類データセットでは、79.29% の精度を達成し、多様な少数-shot設定下で最先端のベースラインを顕著に上回った。
• クラスタの可視化から、類似した閾値（例：ポジティブレビューの N=2,4,5）およびドメインを持つタスクが一貫して同じクラスタにグループ化されていることが確認され、有効なクラスタリングが実現された。
• 最も高い性能を示したターゲットタスクでは、関連性の高いクラスタに対して高い重みが割り当てられており、適応的メトリクス結合機構の有効性が裏付けられた。
• 従来のタスククラスタリング手法が主に二値分類に適用される傾向にある中、本手法は二値分類設定においてもロバストであることが示され、より広範な適用可能性を示した。
• アブレーションスタディの結果、行列補完とタスククラスタリングが重要な構成要素であることが確認され、これらを除去すると性能が著しく低下した。