[論文レビュー] Knowledge Guided Metric Learning for Few-Shot Text Classification

Dianbo Sui, Yubo Chen+4 more|arXiv (Cornell University)|Apr 4, 2020

Domain Adaptation and Few-Shot Learning参考文献 17被引用数 4

ひとこと要約

本論文は、外部知識ベースからの知識を活用してタスク固有の関係ネットワークパラメータを生成する、知識誘導型メトリック学習フレームワークを提案する。タスク固有のメトリクスに適応させるために、新規なパラメータ生成ネットワークを用いることで、ARSCデータセットで87.93%の正確性という最先端性能を達成し、P-MAMLを含む既存手法を上回った。

ABSTRACT

The training of deep-learning-based text classification models relies heavily on a huge amount of annotation data, which is difficult to obtain. When the labeled data is scarce, models tend to struggle to achieve satisfactory performance. However, human beings can distinguish new categories very efficiently with few examples. This is mainly due to the fact that human beings can leverage knowledge obtained from relevant tasks. Inspired by human intelligence, we propose to introduce external knowledge into few-shot learning to imitate human knowledge. A novel parameter generator network is investigated to this end, which is able to use the external knowledge to generate relation network parameters. Metrics can be transferred among tasks when equipped with these generated parameters, so that similar tasks use similar metrics while different tasks use different metrics. Through experiments, we demonstrate that our method outperforms the state-of-the-art few-shot text classification models.

研究の動機と目的

• 限られたラベル付きデータとタスクの多様性による低性能な少サンプルテキスト分類の課題に対処すること。
• 外部知識をメトリック学習に統合することで、人間のような少サンプル学習を模倣すること。
• 知識ベースの埋め込みを用いて、タスク固有の関係ネットワークパラメータを生成するパラメータ生成ネットワークを開発すること。
• 多様なタスクに適した多様なメトリクスを可能にし、類似したタスクは類似したメトリクスを使用する一方で、異なるタスクは異なるメトリクスを使用することを保証すること。
• 推論時にバックプロパゲーションを必要とせず、少サンプルテキスト分類で最先端の性能を達成すること。

提案手法

• 入力文をBERTでエンコードし、密なベクトル表現に変換する。
• 知識ベースの埋め込み（NELLからBILINEARモデルを介して得たもの）を用いて外部知識を表現する。
• タスク固有の知識埋め込みを入力として受け取り、関係ネットワークのパラメータを生成するパラメータ生成ネットワークを設計する。
• 生成されたパラメータを適用して、各タスクに特化したメトリクス関数を関係ネットワークにカスタマイズする。
• エピソードベースのメタラーニングを用いて、トレーニング中に少サンプルシナリオをシミュレートする形で、モデルをエンドツーエンドで訓練する。
• クラスプロトタイプとして平均プーリングされた文の埋め込みを用い、タスク固有のメトリクスを介して類似度を計算する。

実験結果

リサーチクエスチョン

• RQ1 知識ベースからの外部知識は、少サンプルテキスト分類の性能を向上させることができるか？
• RQ2 多様な少サンプルタスクに適応するため、タスク固有のメトリクスを動的に生成する方法は何か？
• RQ3 知識誘導型パラメータ生成は、固定または共有メトリクスと比較して、より良い一般化性能をもたらすか？
• RQ4 本手法は、既存の最先端の少サンプル学習手法をテキスト分類で上回ることができるか？
• RQ5 性能向上は知識統合によるものか、単にモデル容量の増加によるものか？

主な発見

• 提案手法はARSCデータセットで平均87.93%の正確性を達成し、以前の最先端手法P-MAML（86.65%）を上回った。
• アブレーションスタディの結果、タスク関連の関係ネットワークを削除すると正確性が86.09%に低下し、提案されたコンponentの重要性が確認された。
• 代替実験（モデルパラメータ数を増やしたがタスクに依存しないネットワークを用いた）では正確性が86.40%にとどまり、性能向上はパrameter数の増加ではなく知識統合によるものであることが示された。
• 本手法は、メトリクスベースのモデル（例：Relation Network, Prototypical Network）および最適化ベースの手法（例：MAML）の両方をベンチマークで上回った。
• 推論時にバックプロパゲーションを必要としないため、勾配ベースのメタラーニング手法よりも効率的である。
• 結果から、知識誘導型メトリック学習により、タスク固有のメトリクスを学習することで、多様な少サンプルタスクへの適応性が向上することが示された。