[論文レビュー] Metalearning with Hebbian Fast Weights

Tsendsuren Munkhdalai, Adam Trischler|arXiv (Cornell University)|Jul 12, 2018

Ferroelectric and Negative Capacitance Devices参考文献 22被引用数 23

ひとこと要約

本論文では、表現学習のためのスローワイズと、1ショットラベル結合のためのヒブリアン・ファストワイズを統合するメタラーニングモデルを提案する。ヒブリアン則を用いてタスク固有のアソシエイティブメモリ行列を動的に構築することで、勾配ベースのファストワイズ学習に比べて最大100倍高速な推論を実現しながら、Omniglot、Mini-ImageNet、Penn Treebankのベンチマークで最先端の性能を達成した。

ABSTRACT

We unify recent neural approaches to one-shot learning with older ideas of associative memory in a model for metalearning. Our model learns jointly to represent data and to bind class labels to representations in a single shot. It builds representations via slow weights, learned across tasks through SGD, while fast weights constructed by a Hebbian learning rule implement one-shot binding for each new task. On the Omniglot, Mini-ImageNet, and Penn Treebank one-shot learning benchmarks, our model achieves state-of-the-art results.

研究の動機と目的

• 最小限のデータで新しいクラスラベルを表現に迅速に結びつける必要がある1ショット学習の課題に対処すること。
• スローワイズによる共有表現と、ファストワイズによるタスク固有の結合を統合することで、メタラーニングとアソシエイティブメモリを統合すること。
• バックプロパゲーションをファストワイズを通過させない計算効率の良いメタラーニングフレームワークを構築することにより、より高速な訓練と推論を実現すること。
• ヒブリアン則によるファストワイズ構築が、少データ設定において勾配ベースのファストワイズ学習を上回ることを実証すること。

提案手法

• モデルは、タスク間で確率的勾配降下法により更新されるスローワイズを用いて、入力の深く一般化可能な表現を学習する。
• ファストワイズはヒブリアン学習則により構築される：M ← M + η h_{ℓ-1} h_ℓ^T、ここで前後接続層の活性化がメモリ行列を更新する。
• ファストワイズ行列は、外積則を用いてキーバリュー対（表現とラベル）を格納する線形アソシエイティブメモリ（LAM）として機能する：M = Σ k_i v_i^T。
• 推論時には、表現ベクトルをメモリ行列に照会することでラベルを復元する：r = M^T q、これにより1ショットラベル結合が可能になる。
• スローワイズとファストワイズの両方を同時に最適化することで、表現学習と結合の共同適応を可能にするエンドツーエンドの訓練が行われる。
• ファストワイズ機構は全結合層に適用され、アブレーションスタディでは、ソフトマックス層の下にファストワイズを配置することで性能が向上することが示された。

実験結果

リサーチクエスチョン

• RQ1 ヒブリアン則によるファストワイズ構築が、メタラーニングタスクにおいて勾配ベースのファストワイズ学習を上回るか？
• RQ2 スローワイズによる表現学習と、ファストワイズによる1ショット結合を統合することで、少データ一般化性能が向上するか？
• RQ3 ヒブリアン・ファストワイズの計算効率は、訓練および推論において勾配ベースのファストワイズ適応と比較してどの程度優れているか？
• RQ4 ファストワイズのアーキテクチャ的配置（例：ソフトマックス層 vs. それより前の層）がモデル性能に与える影響は何か？
• RQ5 バックプロパゲーションをファストワイズを通過させない単純なヒブリアンメカニズムが、バックプロパゲーションなしで最先端の結果を達成できるか？

主な発見

• 本モデルは、1ショット学習ベンチマークOmniglotで、従来手法を上回る最先端の性能を達成した。
• Mini-ImageNet 5-way 1-shotタスクでは、トップ1正解率74.5%を達成し、従来の最先端手法（73.8%）を上回った。
• Penn Treebank言語モデリングタスクでは、3ショットタスクで58%の正解率を達成し、従来の最先端手法（57%）を上回った。
• ヒブリアン・ファストワイズ機構により、勾配ベースのファストワイズモデルに比べて推論が最大100倍高速化された。
• アブレーションスタディでは、ファストワイズをソフトマックス層に配置すると正解率が2%低下する一方、スローワイズパスを削除すると性能が著しく低下し、両者の重要性が確認された。
• ファストワイズを通過する勾配を切り詰めると性能が低下するため、最適な共同適応を実現するにはエンドツーエンド学習が不可欠であることが示された。