[論文レビュー] EvoGrad: Efficient Gradient-Based Meta-Learning and Hyperparameter Optimization

Ondrej Bohdal, Yongxin Yang+1 more|arXiv (Cornell University)|Jun 19, 2021

Machine Learning and Data Classification被引用数 10

ひとこと要約

EvoGradは、2階微分と長い計算グラフを回避するために、仮想的な内側ループの進化的更新を用いてハイパーパラメータ勾配を推定することで、勾配ベースのメタラーニングおよびハイパーパラメータ最適化のための新規で効率的な手法を提案する。これにより、顕著な高速化とメモリ節約が実現され、12GBのGPU上でもResNet34のような大規模モデルへのメタラーニングのスケーリングが可能となり、性能は標準的な2階微分手法と同等またはそれを上回る。

ABSTRACT

Gradient-based meta-learning and hyperparameter optimization have seen significant progress recently, enabling practical end-to-end training of neural networks together with many hyperparameters. Nevertheless, existing approaches are relatively expensive as they need to compute second-order derivatives and store a longer computational graph. This cost prevents scaling them to larger network architectures. We present EvoGrad, a new approach to meta-learning that draws upon evolutionary techniques to more efficiently compute hypergradients. EvoGrad estimates hypergradient with respect to hyperparameters without calculating second-order gradients, or storing a longer computational graph, leading to significant improvements in efficiency. We evaluate EvoGrad on three substantial recent meta-learning applications, namely cross-domain few-shot learning with feature-wise transformations, noisy label learning with Meta-Weight-Net and low-resource cross-lingual learning with meta representation transformation. The results show that EvoGrad significantly improves efficiency and enables scaling meta-learning to bigger architectures such as from ResNet10 to ResNet34.

研究の動機と目的

• 2階微分と長い計算グラフに依存する従来の勾配ベースのメタラーニング手法が抱える高い計算コストとメモリコストを解消すること。
• 限られたメモリを備えた標準的なGPUハードウェア上でも、ResNet34のような大規模なニューラルネットワークアーキテクチャへのメタラーニングのスケーリングを可能にすること。
• 全トレーニングプロセスにわたる逆方向微分を必要とせず、1階微分のみを用いてハイパーパラメータ勾配を効率的に計算する手法を開発すること。
• 少数の例での学習、ノイズのあるラベル補正、多言語間学習を含む多様なメタラーニング応用において、本手法の有効性を実証すること。
• 実装が簡単で実用的かつ高い効率性を示す汎用的で軽量なメタ最適化手法を提供すること。

提案手法

• EvoGradは、内側ループにおける仮想的な進化的更新をシミュレートすることでハイパーパラメータ勾配を推定し、2階微分の計算を回避する。
• ハイパーパラメータの更新には1階微分を用いるため、延長された計算グラフの保存を不要とし、メモリオーバーヘッドを低減する。
• 本物の内側ループでのモデル更新は標準的な勾配降下法で実行されるが、ハイパーパラメータ勾配の推定は分離され、確率的進化的近似を用いて計算される。
• 進化的更新が勾配フリーであることに着目し、ハイパーパラメータ勾配の計算を1階微分のまま保ち、効率性を維持する。
• 本手法は汎用的であり、特徴量別変換、Meta-Weight-Net、MetaXLなど、さまざまなメタラーニングフレームワークに適用可能である。
• アルゴリズムは並列化が可能であり、進化的ステップにおける候補モデルをデバイス間で簡単に分散させることで、集団サイズを拡大できる。

実験結果

リサーチクエスチョン

• RQ1 2階微分を回避する勾配ベースのメタラーニング手法は、依然として競争力のある性能を達成できるか？
• RQ2 本手法は、12GBのGPUメモリ制限下でも、ResNet34のような大規模モデルへのメタラーニングをスケーリングできるか？
• RQ3 ハイパーパラメータ勾配の進化的近似は、実際の応用において安定的かつ正確なハイパーパラメータ更新をもたらすか？
• RQ4 EvoGradの計算コストとメモリコストは、$T_1-T_2$のような標準的な2階微分手法と比較して、さまざまなモデルサイズにおいてどう異なるか？
• RQ5 EvoGradは、コンピュータビジョンを越えて、低リソースな多言語NLPタスクのような多様なメタラーニング応用に効果的に適用できるか？

主な発見

• EvoGradにより、12GBのGPUメモリでのみResNet34のメタラーニングモデルの学習が可能となり、標準的な$T_1-T_2$手法はメモリ制限のため失敗する。
• Meta-Weight-Netベンチマークにおいて、EvoGradはトレーニング時間とメモリ使用量を顕著に削減した。モデルサイズが大きくなるほど、効率の差は拡大した。
• クロスドメイン少数例学習用のLFTモデルでは、EvoGradは$T_1-T_2$と同等の精度を達成したが、時間とメモリコストは著しく低減された。
• 低リソース多言語間学習におけるMetaXLモデルでは、EvoGradはすべてのターゲット言語で$T_1-T_2$ベースラインと同等またはそれを上回る性能を示し、平均F1スコアは71.98%であった。
• ハイパーパラメータ数が300から30,000に増加しても、EvoGradのメモリと時間コストはほとんど変化しなかった。これは、主にモデルパラメータのコストが支配的であり、ハイパーパラメータのコストは無視できるためである。
• すべての評価タスクにおいて一貫した効率性の向上が確認され、特に大規模モデルで最大の利点が得られた。これにより、本手法のスケーラビリティが裏付けられた。