[論文レビュー] Rapid Adaptation with Conditionally Shifted Neurons

Tsendsuren Munkhdalai, Xingdi Yuan+2 more|arXiv (Cornell University)|Dec 28, 2017

Domain Adaptation and Few-Shot Learning被引用数 106

ひとこと要約

この論文は、メモリモジュールに格納されたタスク依存の活性化シフトを適用することにより、迅速なタスク固有の適応を可能にする条件付きシフトニューロン（CSN）を紹介します。CSNは、視覚・言語のベンチマーク全体でメタ学習性能を改善し、直接的なフィードバックによるより安価な条件付け信号を提供します。

ABSTRACT

We describe a mechanism by which artificial neural networks can learn rapid adaptation - the ability to adapt on the fly, with little data, to new tasks - that we call conditionally shifted neurons. We apply this mechanism in the framework of metalearning, where the aim is to replicate some of the flexibility of human learning in machines. Conditionally shifted neurons modify their activation values with task-specific shifts retrieved from a memory module, which is populated rapidly based on limited task experience. On metalearning benchmarks from the vision and language domains, models augmented with conditionally shifted neurons achieve state-of-the-art results.

研究の動機と目的

• メタ学習設定におけるタスク間での迅速な、オン・ザ・フライの適応のためのニューラル機構を動機づけ、形式化する。
• タスク固有の活性化シフトをメモリモジュールから導出して適用する条件付きシフトニューロンを提案する。
• CSNを視覚（Omniglot、Mini-ImageNet）と言語（Penn Treebank）のベンチマークで評価する。
• 二つの条件付け情報源（勾配ベースと直接フィードバック）を探索し、計算効率を評価する。
• CSNが多様なアーキテクチャ（FFN、ResNet、LSTM）と互換性を持つことを示す。

提案手法

• 活性化に層ごとのシフト β_t を追加し、条件付け情報 I_t によって制御する条件付きシフトニューロンを導入する。
• 説明フェーズ（タスクデータ D_τ から条件付け情報を抽出し、キーバリュー記憶にシフトを格納）と予測フェーズ（未見データに対してシフトを取得）という二段階のプロセスを実装する。
• 条件付け情報をシフトテンプレート V_t に写像する記憶関数 g と、タスク記述から記憶キーを生成するキー関数 f を使用する；読み出しはキー上のソフトアテンションを介して行われる。
• 二つの条件付け方式を提示する：（a）誤差勾配ベースの条件付け（∇）と（b）直接フィードバック（DF）条件付け、DFはより安価で非逐次的な信号を用いる。
• CSNをFFN、ResNet、LSTMアーキテクチャ（adaCNN、adaResNet、adaLSTM）に組み込む。
• エピソード的メタ学習設定でエンドツーエンドの SGD を用いて学習・評価する；条件付け情報はベースラーナーとメモリとともに共同学習される。

実験結果

リサーチクエスチョン

• RQ1 CSNを用いたニューロンレベルの迅速な適応は、視覚と言語タスクの両方で競争力のあるメタ学習性能を達成できるか。
• RQ2 勾配ベースの条件付け信号と直接フィードバック条件付け信号の精度と効率性をどう比較できるか。
• RQ3 CSNはResNetやLSTMなどの一般的なアーキテクチャと効果的に統合できるか、また計算のトレードオフはどうなるか。
• RQ4 CSNが少数ショット学習ベンチマーク（Omniglot、Mini-ImageNet、Penn Treebank）に与える影響はどの程度か。

主な発見

• CSNはタスク特異的なニューロンの活性化の迅速なシフトを可能にし、いくつかの少数ショットベンチマークで性能を向上させる。
• 直接フィードバック条件付けは、勾配ベース条件付けと比較して競争力のある、または優れた結果を示しつつ計算コストを削減する。
• DF条件付けを用いたAdaResNetは、報告された設定でMini-ImageNetの最先端結果を達成（1-shotおよび5-shotの5-wayタスク）。
• CSNはCNNs、ResNets、LSTMsへ統合可能で、アーキテクチャ横断の適用性を実現する。
• アブレーション研究により、シフトの正規化と条件付け変換 g の深さが性能に重要であり、より深い写像がDF条件付けをサポートすることが示された。
• タスク全体を通じて、DF条件付けは大幅な速度向上をもたらし（言語モデリングや視覚タスクでの実行時間の顕著な短縮など）、精度を犠牲にしない。