[論文レビュー] Few-shot Sequence Learning with Transformers

Lajanugen Logeswaran, Ann Lee+4 more|arXiv (Cornell University)|Dec 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 5

ひとこと要約

この論文では、変換器を用いたシーケンスモデリングのための、少数の例での学習に効果的なシンプルな手法であるタスク適応型メモリ（TAM）を提案する。2次微分法を用いるのではなく、1次微分勾配降下法によりタスク固有の埋め込みを最適化することで、CAVIA や MAML などのメタラーニングベースラインと同等またはそれ以上の性能を達成しつつ、特に離散的シーケンスにおける低ショット設定において、著しく計算効率が向上する。

ABSTRACT

Few-shot algorithms aim at learning new tasks provided only a handful of training examples. In this work we investigate few-shot learning in the setting where the data points are sequences of tokens and propose an efficient learning algorithm based on Transformers. In the simplest setting, we append a token to an input sequence which represents the particular task to be undertaken, and show that the embedding of this token can be optimized on the fly given few labeled examples. Our approach does not require complicated changes to the model architecture such as adapter layers nor computing second order derivatives as is currently popular in the meta-learning and few-shot learning literature. We demonstrate our approach on a variety of tasks, and analyze the generalization properties of several model variants and baseline approaches. In particular, we show that compositional task descriptors can improve performance. Experiments show that our approach works at least as well as other methods, while being more computationally efficient.

研究の動機と目的

• 自然言語処理や強化学習における、1つのタスクあたり少数のラベル付き例しか利用できない少サンプルシーケンス学習の課題に対処すること。
• アーキテクチャの変更や複雑なメタラーニング部品を必要とせず、事前学習済み変換器を新しいタスクに効率的に適応できる手法を開発すること。
• 2次微分法を用いるメタラーニング手法（MAML や CAVIA など）と同等またはそれ以上の性能を達成できる、タスク埋め込みの1次微分最適化の有効性を示すこと。
• 構成的タスク記述子と入力条件付けによるタスク埋め込みの有効性を検証し、多様なシーケンスタスク間での一般化性能の向上を示すこと。

提案手法

• 本手法は、タスク固有の埋め込みベクトル z を入力シーケンスに付加する条件付きプロンプトとして用いることで、共有パラメータを変更せずに新しいタスクに適応可能にする。
• タスク埋め込みは、1つのタスクあたり少数のラベル付き例を用いて推論または微調整中に1次微分勾配降下法で最適化され、2次微分の必要がなくなる。
• シーケンス分類のためには、分類ヘッドを備えた変換器エンコーダーが使用され、[CLS]トークンがタスク埋め込み z に置き換えられる。
• シーケンストランスダクションのためには、変換器デコーダーが使用され、出力シーケンスの対数尤度が入力 x とタスク埋め込み z の条件下で計算される。
• 学習手順は、共有モデルパラメータ θ の更新と、勾配降下法によるタスク埋め込み z の最適化を交互に繰り返すことで、交互最小化スキームを形成する。
• 複合的タスク記述子は、複雑または階層的なタスクを表現するために複数のタスク埋め込みベクトルを組み合わせることで検討されている。

実験結果

リサーチクエスチョン

• RQ1 2次微分を必要とせず、アーキテクチャのアダプタを用いずに、タスク埋め込みの1次微分最適化が、シーケンスモデリングタスクで競争力のある少サンプル性能を達成できるか？
• RQ2 他の少サンプル適応メカニズムと比較して、タスク埋め込みによる入力条件付けは、精度と効率の両面で優れているか？
• RQ3 複合的タスク記述子の使用が、少サンプルシーケンス学習における一般化性能の向上に寄与するか？
• RQ4 本手法は、少サンプル例の数（k）と1タスクあたりの学習データ量に応じて、どのようにスケーリングするか？
• RQ5 本手法は、最小限のアーキテクチャ変更で、シーケンス分類とシーケンストランスダクションの両方のタスクに効果的に適用できるか？

主な発見

• TAM は、合成シーケンス分類およびトランスダクションベンチマークで最先端の性能を達成し、MAML を上回り、CAVIA と同等またはそれ以上の精度を示す一方で、著しく計算効率が優れている。
• パスファインディングタスクでは、TAM は 2.7 時間の学習時間で perplexity 1.3 を達成したのに対し、CAVIA は 3.7 時間で perplexity 1.5 を記録した。これは、優れた計算効率を示している。
• マルチタスクベースライン（精度 67.4%、perplexity 7.2）に比べ、本手法は一貫して優れた性能を示しており、少サンプル性能においてタスク固有の適応が不可欠であることを示している。
• アブレーションスタディでは、構成的タスク記述子が、構造的タスク変化の間で一般化を可能にするため、性能向上に寄与していることが示された。
• 変換器ベースの TAM モデルは、両方の精度と perplexity において、双方向LSTMベースラインを上回っており、本手法とアーキテクチャの有効性を確認している。
• 十分なタスクごとの学習データと複数回の内側ループ更新を組み合わせた場合、タスク埋め込みの1次微分最適化が強力な性能を達成することが可能であり、2次微分法が必要であるという仮定に疑問を呈している。