[論文レビュー] Meta-Learning with Neural Tangent Kernels

Yufan Zhou, Zhenyi Wang+3 more|arXiv (Cornell University)|Feb 7, 2021

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 4

ひとこと要約

本稿では、ニューラル接線カーネル（NTK）によって誘導される再生核ヒルバート空間（RKHS）に一般化されたモデルに依存しないメタラーニング（MAML）を拡張する2つのメタラーニングアルゴリズム、Meta-RKHS-IおよびMeta-RKHS-IIを提案する。反復的内側ループの適応を閉形式で解ける正則化子に置き換えることで、訓練速度が向上し一般化性能が向上し、Mini-ImageNetおよびFC-100における少サンプル学習、敵対的ロバストネス、分布外一般化においてMAMLおよびベースラインを上回る性能を発揮する。

ABSTRACT

Model Agnostic Meta-Learning (MAML) has emerged as a standard framework for meta-learning, where a meta-model is learned with the ability of fast adapting to new tasks. However, as a double-looped optimization problem, MAML needs to differentiate through the whole inner-loop optimization path for every outer-loop training step, which may lead to both computational inefficiency and sub-optimal solutions. In this paper, we generalize MAML to allow meta-learning to be defined in function spaces, and propose the first meta-learning paradigm in the Reproducing Kernel Hilbert Space (RKHS) induced by the meta-model's Neural Tangent Kernel (NTK). Within this paradigm, we introduce two meta-learning algorithms in the RKHS, which no longer need a sub-optimal iterative inner-loop adaptation as in the MAML framework. We achieve this goal by 1) replacing the adaptation with a fast-adaptive regularizer in the RKHS; and 2) solving the adaptation analytically based on the NTK theory. Extensive experimental studies demonstrate advantages of our paradigm in both efficiency and quality of solutions compared to related meta-learning algorithms. Another interesting feature of our proposed methods is that they are demonstrated to be more robust to adversarial attacks and out-of-distribution adaptation than popular baselines, as demonstrated in our experiments.

研究の動機と目的

• 二重ループ最適化と内側ループ勾配を介したバックプロパゲーションによるMAMLの計算非効率性と最適でない適応の問題を解決する。
• トレーニングおよび推論時に内側ループ適応ステップのチューニングの困難さを克服する。
• ニューラル接線カーネル（NTK）によって誘導される再生核ヒルバート空間（RKHS）を用いた関数空間におけるメタラーニングフレームワークを構築する。
• NTK理論を活用して、勾配ベースの内側ループ更新を必要としない閉形式・非反復的適応を可能にする。
• 既存のメタラーニングベースラインと比較して、敵対的攻撃に対するロバストネスおよび分布外一般化性能を向上させる。

提案手法

• メタモデルのニューラル接線カーネル（NTK）によって誘導されるRKHSにおいてメタラーニングを定式化し、関数空間最適化を可能にする。
• Meta-RKHS-Iを提案。内側ループ適応を、MAMLの目的関数から高次項を無視したRKHSにおける高速適応型正則化子に置き換える。
• Meta-RKHS-IIを提案。NTK理論を用いて適応問題を解析的に解き、閉形式でメタ目的関数を直接評価可能にする。
• NTKを用いてニューラルネットワークのパラメータをRKHS内の関数にマッピングし、カーネル法による効率的最適化を可能にする。
• タスク損失を最小化するとともに、カーネルに基づく正則化により関数の滑らかさと高速適応性を強制するメタ目的関数を定義する。
• 内側ループ更新の勾配チェーンを回避するため、閉形式メタ目的関数を標準的な最適化手法でメタモデルをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 ニューラル接線カーネル（NTK）によって誘導される再生核ヒルバート空間（RKHS）を用いて、関数空間におけるメタラーニングを効果的に再定式化できるか？
• RQ2 MAMLにおける勾配ベースの内側ループ更新を、解析的・非反復的適応に置き換えることは可能か？ これにより訓練効率と解の品質が向上するか？
• RQ3 提案手法はMAMLおよびその変種と比較して、少サンプル分類においてどの程度の性能を示すか？
• RQ4 提案手法は敵対的攻撃に対するロバストネスおよび分布外一般化において、どの程度向上を示すか？
• RQ5 提案されたRKHSに基づくメタラーニングアルゴリズムと既存のMAML変種との理論的関係は何か？

主な発見

• Meta-RKHS-IIはMini-ImageNet（5-way 5-shot）で76.32％の精度を達成し、SOTAのBayesian TAML（67.36％）およびMAML（65.19％）を上回った。
• FC-100では、Meta-RKHS-IIは5-way 1-shotで49.92％、5-way 5-shotで76.32％の精度に達し、ReptileおよびiMAMLを著しく上回った。
• Meta-RKHS-IIはPGD敵対的攻撃に対し優れたロバストネスを示し、1-shotおよび5-shot設定の両方で高い精度を維持した。
• 分布外データセットへの一般化性能が優れており、VGG-Fの下位部（59.75％）およびFlowers（49.92％）で5-way 5-shotテストにおいて高い精度を達成した。
• Meta-RKHS-Iは、さまざまな適応ステップにおいてReptileを一貫して上回り、関数的勾配ノルムとタスク固有の近接性の重要性を裏付けた。
• 理論的分析により、Meta-RKHS-Iは高次項を無視したMAMLと密接に関連しており、その有効性を原理的根拠で裏付けた。