[論文レビュー] A Simple Neural Attentive Meta-Learner

Nikhil Mishra, Mostafa Rohaninejad+2 more|arXiv (Cornell University)|Jul 11, 2017

Neural Networks and Applications被引用数 758

ひとこと要約

SNAILは、時系列畳込みと因果的注意を組み合わせた汎用メタ学習器で、タスク固有の事前知識なしに、監督付き学習と強化学習のメタ学習タスクで最先端の性能を達成します。

ABSTRACT

Deep neural networks excel in regimes with large amounts of data, but tend to struggle when data is scarce or when they need to adapt quickly to changes in the task. In response, recent work in meta-learning proposes training a meta-learner on a distribution of similar tasks, in the hopes of generalization to novel but related tasks by learning a high-level strategy that captures the essence of the problem it is asked to solve. However, many recent meta-learning approaches are extensively hand-designed, either using architectures specialized to a particular application, or hard-coding algorithmic components that constrain how the meta-learner solves the task. We propose a class of simple and generic meta-learner architectures that use a novel combination of temporal convolutions and soft attention; the former to aggregate information from past experience and the latter to pinpoint specific pieces of information. In the most extensive set of meta-learning experiments to date, we evaluate the resulting Simple Neural AttentIve Learner (or SNAIL) on several heavily-benchmarked tasks. On all tasks, in both supervised and reinforcement learning, SNAIL attains state-of-the-art performance by significant margins.

研究の動機と目的

• 関連タスクの分布に迅速に適応できる汎用で柔軟なメタ学習アーキテクチャを動機づける。
• 手作業で設計されたアーキテクチャや特定ドメイン向けの priors への依存を排除する。
• 時系列畳み込みと注意機構を組み合わせて、単純でありながら表現力のあるモデルを開発する。
• 監督付きのfew-shot学習ベンチマークと強化学習タスクの両方で強力な性能を示す。

提案手法

• SNAILを提案し、時系列畳み込みブロックと因果的注意ブロックを交互に配置して、シーケンス処理型のメタ学習器を形成する。
• 拡張因果1D畳み込み（DenseBlocks/TCBlocks）を用いて、効率的な時系列コンテキスト表現を構築する。
• 過去の表現から未来のステップをのぞき見ずに選択的に読む因果的注意機構を組み込む。
• 教師あり設定では、入力をラベル付きの例の列と未ラベルのクエリとして処理し、RLでは観測-行動-報酬のタプルとして処理し、エピソードの記憶を境界をまたいで保持する。
• タスク分布上でエンドツーエンドに訓練し、タスク間の期待メタ損失を最小化する（RLではAdamを使用／TRPO/GAE）。
• LSTMベースのメタ学習器や、MAMLのような勾配ベースのメタ学習器と比較して、アーキテクチャの頑健性と訓練効率を強調する。

実験結果

リサーチクエスチョン

• RQ1 汎用のメタ学習器は、ドメイン特化型や priors ベースのアプローチを diverse なタスクで上回ることができるか。
• RQ2 時系列畳込みと因果的注意の組み合わせは、迅速な適応のためのスケーラブルな長期記憶を可能にするか。
• RQ3 SNAILは few-shot の監督付き学習ベンチマーク（Omniglot、mini-ImageNet）および強化学習メタタスク（バンディット、MDP、ナビゲーション、連続制御）でどう機能するか。
• RQ4 SNAILはRNN系（LSTM）やメモリ拡張ネットワークと比べて訓練が容易で、メモリ効率が高いか。

主な発見

• SNAILは、監督付き少数-shot 学習ベンチマークと複数の強化学習メタタスクの両方で、最先端または競争力のある結果を達成する。
• 少数-shot分類では、SNAILはOmniglotとmini-ImageNetで従来の汎用法やドメイン特化法を大幅に上回る。
• RL領域では、長期的な時間依存性と構造化されたタスク分布を持つタスクで、SNAILはしばしばLSTMベースのメタ学習器やMAMLのベースラインと同等かそれを上回る。
• SNAILのアーキテクチャはエピソード境界を越えた記憶をサポートし、固定の短いコンテキストウィンドウなしにより長いシーケンスへ拡張可能。
• アブレーションを通じて、TCと注意の単純な組み合わせが強力な性能を提供し、重たい手作業設計に頼らず頑健であることが示される。