[論文レビュー] On the Importance of Attention in Meta-Learning for Few-Shot Text Classification

Xiang Jiang, Mohammad Havaei+6 more|arXiv (Cornell University)|Jun 3, 2018

Topic Modeling参考文献 14被引用数 13

ひとこと要約

この論文は、タスクに依存しない表現学習とタスク固有のアテンション適応を分離する、少数のサンプルでのテキスト分類のためのメタラーニングフレームワークATAMLを提案する。迅速な適応中にアテンション機構を用いて関連するテキスト部分構造に注目することで、ATAMLはminiRCV1およびminiReuters-21578データセットにおいて、ランダム初期化、事前学習済みモデル、および標準的なMAMLモデルよりも優れた一般化性能を達成する。

ABSTRACT

Current deep learning based text classification methods are limited by their ability to achieve fast learning and generalization when the data is scarce. We address this problem by integrating a meta-learning procedure that uses the knowledge learned across many tasks as an inductive bias towards better natural language understanding. Based on the Model-Agnostic Meta-Learning framework (MAML), we introduce the Attentive Task-Agnostic Meta-Learning (ATAML) algorithm for text classification. The essential difference between MAML and ATAML is in the separation of task-agnostic representation learning and task-specific attentive adaptation. The proposed ATAML is designed to encourage task-agnostic representation learning by way of task-agnostic parameterization and facilitate task-specific adaptation via attention mechanisms. We provide evidence to show that the attention mechanism in ATAML has a synergistic effect on learning performance. In comparisons with models trained from random initialization, pretrained models and meta trained MAML, our proposed ATAML method generalizes better on single-label and multi-label classification tasks in miniRCV1 and miniReuters-21578 datasets.

研究の動機と目的

• 深層学習モデルがデータ不足と一般化性能の低さに苦しむ少数のサンプルでのテキスト分類の課題に対処すること。
• アテンション機構がタスク固有の適応を可能にすることで、テキスト分類におけるメタラーニングの向上にどのように寄与するかを調査すること。
• 共有表現学習とタスク固有の適応を分離することで、より高いサンプル効率を実現するメタラーニングフレームワークを開発すること。
• アテンションが単に性能を向上させるだけでなく、少数のサンプルでの分類における一般化を可能にする重要な役割を果たすことを実証すること。

提案手法

• タスクに依存しない表現学習（メタラーナー）とタスク固有のアテンション適応（ベースラーナー）を分離するメタラーニングアルゴリズムATAMLを提案する。
• メタラーナーが、メタ最適化プロセスの初期化パラメータを用いて、畳み込みまたは再帰的ネットワークを介して共有のタスクに依存しない表現を学習する。
• ベースラーナーでアテンション機構を用い、新しいタスクに迅速に適応する際、単語または語句の表現に動的重みを付与する。
• 2段階の最適化を適用する：まず、迅速な適応を可能にするためにメタラーナーが共有パラメータを更新する。次に、少数の例を用いてベースラーナーが各タスクのアテンション重みをファインチューニングする。
• 少数のサンプルでのテキスト分類に特化したベンチマークデータセットとして、miniRCV1およびminiReuters-21578を導入する。
• 長距離依存関係を効果的に捉えるために、ドレインド畳み込みネットワーク（TCN）をバックボーンとして用いる。

実験結果

リサーチクエスチョン

• RQ1 タスクに依存しない表現学習とタスク固有のアテンション適応を分離することは、少数のサンプルでのテキスト分類の性能向上に寄与するか？
• RQ2 アテンション機構は、テキスト分類におけるメタラーニングの一般化にどのように寄与するか？
• RQ3 アテンション機構は、リソースが限られた環境における誤った単語レベルの相関関係への過剰適合を軽減するのを助けるか？
• RQ4 ATAMLは、MAML、ランダム初期化、および事前学習済みモデルと比較して、少数のサンプルでのテキスト分類においてどのように性能を発揮するか？
• RQ5 アーキテクチャの選択（例：TCN対LSTM）は、テキスト分類におけるメタラーニングをどのように支援するか？

主な発見

• ATAMLは、miniRCV1およびminiReuters-21578の両方のデータセットにおいて、ランダム初期化済みモデル、ファインチューニング済み事前学習モデル、および標準的なMAMLモデルよりも顕著な性能向上を達成する。
• ATAMLのアテンション機構により、モデルは「regulation of」や「recommendation that」のような関連する語句に注目するようになり、たとえば「tobacco」や「drug」のような誤った語句には注目しなくなる。
• TCNをベースラーナーとして使用するモデルは、LSTMを使用するモデルよりも一般化性能が高く、学習が速い。LSTMはしばしばメタ学習の初期段階で飽和する。
• アブレーションスタディの結果、アテンションパラメータがメタ学習中に更新されない場合でも、性能は依然として高いまま維持される。これは、アテンションが共有表現学習を容易にする役割を果たしていることを示している。
• 可視化の結果、ATAMLはより意味的に意味のあるアテンションパターンを学習しており、単語レベルのノイズへの過剰適合が減少していることが確認された。
• ドレインド畳み込みの使用により、長距離依存関係を効果的に捉えることで、少数のサンプル設定における表現学習が向上した。