[論文レビュー] Auto-Meta: Automated Gradient Based Meta Learner Search

Jaehong Kim, Sangyeul Lee+7 more|arXiv (Cornell University)|Jun 11, 2018

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 25

ひとこと要約

本稿では、勾配ベースのメタラーナーに最適な深層ニューラルネットワークアーキテクチャを発見するために、プログレッシブニューラルアーキテクチャサーチ（PNAS）を適用する自動化されたニューラルアーキテクチャサーチフレームワークであるAuto-Metaを提案する。勾配ベースの探索を通じてメタラーナーのアーキテクチャと初期化を同時に最適化することで、Auto-Metaは5ショット5ウェイのMini-ImageNetベンチマークで74.65%の精度を達成し、MAMLよりも11.54%高い。これは、メタラーニング分野におけるニューラルアーキテクチャサーチの最初の成功した応用である。

ABSTRACT

Fully automating machine learning pipelines is one of the key challenges of current artificial intelligence research, since practical machine learning often requires costly and time-consuming human-powered processes such as model design, algorithm development, and hyperparameter tuning. In this paper, we verify that automated architecture search synergizes with the effect of gradient-based meta learning. We adopt the progressive neural architecture search \cite{liu:pnas_google:DBLP:journals/corr/abs-1712-00559} to find optimal architectures for meta-learners. The gradient based meta-learner whose architecture was automatically found achieved state-of-the-art results on the 5-shot 5-way Mini-ImageNet classification problem with $74.65\%$ accuracy, which is $11.54\%$ improvement over the result obtained by the first gradient-based meta-learner called MAML \cite{finn:maml:DBLP:conf/icml/FinnAL17}. To our best knowledge, this work is the first successful neural architecture search implementation in the context of meta learning.

研究の動機と目的

• 勾配ベースのメタラーナー向けのニューラルネットワークアーキテクチャの設計を自動化し、人的専門知識への依存を低減すること。
• 自動アーキテクチャサーチが勾配ベースのメタラーニングと統合されることで、少データ分類性能が向上するかを調査すること。
• メタラーニングの文脈におけるニューラルアーキテクチャサーチの最初の成功した実装を示すこと。
• プログレッシブサーチと微分可能アーキテクチャサーチを用いて、スケーラブルで効率的な高パフォーマンスメタラーナーの発見手法を開発すること。

提案手法

• 本手法は、プログレッシブニューラルアーキテクチャサーチ（PNAS）を用い、メタラーナーの候補アーキテクチャを段階的に拡張・評価する。
• 全訓練を実行せずに候補アーキテクチャの性能を予測するために強化学習ベースのコントローラーネットワークを訓練する。
• 探索は、繰り返しスタックして完全な畳み込みメタラーナーを構築するためのセルアーキテクチャの学習に焦点を当てる。
• 最終的なメタラーナーは、新しいタスクへの高速適応のため、MAMLの1階近似（Reptile）を用いる。
• テスト時にトランスダクティブ推論を適用し、サポートセットからのバッチ統計を用いて一般化性能を向上させる。
• 探索はOmniglotおよびMini-ImageNetの両方で実施され、最初の畳み込み層におけるフィルタ数（F）を用いてモデル容量を制御する。

実験結果

リサーチクエスチョン

• RQ1 自動化されたニューラルアーキテクチャサーチは、少データ学習における勾配ベースのメタラーナーの性能を向上させることができるか？
• RQ2 アーキテクチャサーチとメタラーニングの相乗効果により、標準ベンチマークでSOTAの結果が得られるか？
• RQ3 探索されたメタラーナーのアーキテクチャの深さと構造は、人間が設計したモデルと比べてどう異なるか？
• RQ4 過度な計算コストを伴わずに、プログレッシブアーキテクチャサーチが高パフォーマンスのメタラーナーを効率的に発見できるか？
• RQ5 トランスダクティブ推論は、探索されたメタラーナーの最終的性能にどのような影響を与えるか？

主な発見

• Auto-Metaは5ショット5ウェイのMini-ImageNetベンチマークで74.65%の精度を達成し、元のMAML手法よりも11.54%高い。
• 探索されたアーキテクチャは、パrameter数が少ないにもかかわらず、Reptile やプロトタイプネットワークを含む人間が設計したモデルを上回った。
• 1ショット5ウェイの設定では、より大きなモデルを用いて57.58%の精度を達成し、既存のベースラインを上回った。
• プログレッシブサーチのプロセスは、訓練中にセルの深さの分布が時間経過とともにより深い構造を好む傾向を示した。
• 本手法は、複雑な補助コンponentを必要とせずとも、アーキテクチャサーチがメタラーナーの性能を顕著に向上させられることを示した。
• 結果から、自動アーキテクチャサーチが勾配ベースのメタラーニングと組み合わせられることで、特にデータが少ない環境において顕著な利益が得られることを確認した。