[論文レビュー] HyperMAML: Few-Shot Adaptation of Deep Models with Hypernetworks

M. Przewięźlikowski, Przemysław Przybysz+3 more|arXiv (Cornell University)|May 31, 2022

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

HyperMAMLは、MAMLにおける勾配ベースの重み更新を学習可能なハイパーネットに置き換える、新しい少样本学習フレームワークを提案する。これにより、1ステップで顕著な非勾配ベースのパラメータ更新が可能となり、MAMLや最先端の性能を上回る精度を達成するとともに、適応段階での誤差逆伝播を排除することで計算コストを低減し、生物学的妥当性を向上させる。

ABSTRACT

The aim of Few-Shot learning methods is to train models which can easily adapt to previously unseen tasks, based on small amounts of data. One of the most popular and elegant Few-Shot learning approaches is Model-Agnostic Meta-Learning (MAML). The main idea behind this method is to learn the general weights of the meta-model, which are further adapted to specific problems in a small number of gradient steps. However, the model's main limitation lies in the fact that the update procedure is realized by gradient-based optimisation. In consequence, MAML cannot always modify weights to the essential level in one or even a few gradient iterations. On the other hand, using many gradient steps results in a complex and time-consuming optimization procedure, which is hard to train in practice, and may lead to overfitting. In this paper, we propose HyperMAML, a novel generalization of MAML, where the training of the update procedure is also part of the model. Namely, in HyperMAML, instead of updating the weights with gradient descent, we use for this purpose a trainable Hypernetwork. Consequently, in this framework, the model can generate significant updates whose range is not limited to a fixed number of gradient steps. Experiments show that HyperMAML consistently outperforms MAML and performs comparably to other state-of-the-art techniques in a number of standard Few-Shot learning benchmarks.

研究の動機と目的

• 少样本学習におけるMAMLの勾配ベースの内側ループ最適化の生物学的不妥当性と計算非効率性を是正すること。
• MAMLの内側ループ最適化に関連するハイパーパラメータの数とトレーニングの複雑さを低減すること。
• 繰り返し勾配降下法に依存せずに、より効果的な重み更新を少样本適応で実現すること。
• 最小限のデータで多様な少样本タスクに一般化できるメタラーニングフレームワークを開発すること。
• 推論段階での複数の勾配ステップの必要性を排除することで、計算効率を向上させること。

提案手法

• HyperMAMLは、MAMLの標準的な勾配更新を、サポートセットからタスク固有の重み更新を生成する学習可能なハイパーネットに置き換える。
• ハイパーネットは、推論段階で誤差逆伝播を回避するように、サポートセット入力を効果的なパrameter更新にマップするようにエンドツーエンドで訓練される。
• 主モデルの重みは、ハイパーネットの出力を用いて1タスクあたり1回のみ更新され、内側ループ最適化ステップの繰り返しが不要になる。
• ハイパーネットは、1回の更新後にクエリセットでのパフォーマンスを評価するメタ損失関数を用いてメタ最適化により訓練される。
• 更新重みの勾配計算を必要としないため、2次最適化を避けることができ、トレーニングが簡素化される。
• フレームワークはモデルに依存しない性質を維持しており、任意のニューラルネットワークアーキテクチャに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 ハイパーネットベースの更新機構は、少样本メタラーニングにおいて勾配ベースの更新を上回ることができるか？
• RQ2 繰り返し勾配降下法に代えて1回の学習可能な更新を導入することで、少样本設定における一般化性と精度が向上するか？
• RQ3 ハイパーネットベースのアプローチは、MAMLと比較して計算コストとハイパーパラメータ感受性を低減できるか？
• RQ4 分布シフトが生じるクロスドメイン少样本適応において、この手法はどのように性能を示すか？
• RQ5 ハイパーネットベースの更新は、勾配ベース最適化よりも生物学的に妥当性が高いとされるか？

主な発見

• Omniglot → EMNIST 1ショット分類ベンチマークにおいて、HyperMAMLは80.78%の精度を達成し、MAMLの74.81%を上回り、最先端のHyperShot+fine-tuning（80.65%）に近い性能を示した。
• 5ショットのOmniglot → EMNISTタスクでは、HyperMAMLは89.22%の精度に達し、HyperShot（90.81%）やDKT（90.30%）と同等の性能を示した。
• 挑戦的なmini-ImageNet → CUBクロスドメイン設定において、HyperMAMLはMAML、ProtoNet、Matching Networksと同等の性能を示し、特に1ショットの状況で顕著であった。
• Omniglot → EMNISTテストセット全体の処理にHyperMAMLは8.21秒を要し、わずか2ステップの勾配更新でMAMLと同等の速度を達成したが、はるかに高い精度を実現した。
• 100ステップの勾配ステップを用いても、MAMLの精度は74.86%に留まり、HyperMAMLの80.78%には及ばなかった。これにより、ハイパーネット更新機構の優位性が裏付けられた。
• 内側ループの学習率やステップ数の探索が必要なくなるため、ハイパーパラメータチューニングの複雑さが低減された。