[論文レビュー] Adaptive Posterior Learning: few-shot learning with a surprise-based memory module

Tiago Ramalho, Marta Garnelo|arXiv (Cornell University)|Feb 7, 2019

Domain Adaptation and Few-Shot Learning被引用数 42

ひとこと要約

APL は、外部メモリに最も驚くべき観測のみを格納し、関係デコーダを用いて事後分布を推定する few-shot 学習法であり、より小さなメモリ容量で競争力のある精度を達成し、クラス数千にもスケール可能である。

ABSTRACT

The ability to generalize quickly from few observations is crucial for intelligent systems. In this paper we introduce APL, an algorithm that approximates probability distributions by remembering the most surprising observations it has encountered. These past observations are recalled from an external memory module and processed by a decoder network that can combine information from different memory slots to generalize beyond direct recall. We show this algorithm can perform as well as state of the art baselines on few-shot classification benchmarks with a smaller memory footprint. In addition, its memory compression allows it to scale to thousands of unknown labels. Finally, we introduce a meta-learning reasoning task which is more challenging than direct classification. In this setting, APL is able to generalize with fewer than one example per class via deductive reasoning.

研究の動機と目的

• 過去の経験を格納して事後分布を近似することで、few-shot 学習を実現する。
• 非常に驚くべき例のみをメモリに書くことで、メモリ使用量を最小化する。
• 外部メモリを作業メモリと結合し、関係デコーダと組み合わせて、スケーラブルな推論を実現する。
• 全シーケンスを通してバックプロパゲーションせず、オンラインで事後更新を近似するように訓練する。

提案手法

• エンコーダは各入力に対して表現を生成する。
• 外部メモリは選択された (embedding, label) のペアを格納し、書込みは surprise ベースのメカニズムによって制御される。
• メモリは k 最近傍検索を介して照会され、関連する過去の観測を取得する。
• デコーダ（関係性自己注意、関係性作業メモリ、または LSTM）は、クエリの埋め込みとメモリの近傍を用いてクラスロジットを生成する。
• メモリ書込みは surprise S = -log(y_t) を用い、S > sigma の場合に書き込み、sigma はクラス数 N に対して sigma ~ -log(N)。
• 各時間ステップでの訓練更新は、全シーケンスを通してバックプロパゲーションを行わず、クロスエントロピー損失を最小化する。エピソードデータがオンライン適応を促進する。

実験結果

リサーチクエスチョン

• RQ1 APL は、エピソード中に最小限のメモリとオンライン更新で事後更新を近似できるか？
• RQ2 サプライズベースのメモリ書込みが、few-shot 課題におけるメモリ効率と精度にどう影響するか？
• RQ3 関係デコーディングアーキテクチャは、呼び出した記憶に対して有効な複雑な推論を可能にするか？
• RQ4 実データセットでクラス数が数千に及ぶ場合、APL はどれくらいスケールするか？
• RQ5 APL は標準的な分類を超えたメタ学習風の推論タスクへ一般化できるか？

主な発見

• APL は、ベースラインより小さなメモリフットプリントで競争力のある few-shot 分類精度を達成する。
• メモリコントローラは高い驚き度の観測のみを書き込み、スパースでタスク関連のメモリ使用を生み出す。
• 外部メモリと関係デコーダの組み合わせにより、スケーラブルな推論を実現し、取得した項目に対する全対全注意をサポートする。
• ImageNet で数千クラスにスケールし、事前学習済みエンコーダを用いて 20/100/1000-way タスクで高い top-1 精度を達成。
• 特定の数値比喩推論タスクで、APL はクラスあたりの例数が条件付きで 1 未満でも強い一般化を達成し、推論的な推論能力を示す。