[論文レビュー] Adaptive Stochastic Natural Gradient Method for One-Shot Neural Architecture Search

Youhei Akimoto, Shinichi Shirakawa+4 more|arXiv (Cornell University)|May 21, 2019

Advanced Neural Network Applications被引用数 51

ひとこと要約

ASNG-NASを導入したロバストなワンショットNASフレームワーク。確率的緩和と適応確率的自然勾配を用いて、最小限のハイパーパラメータ調整で重みとアーキテクチャを共同最適化し、低計算予算下で画像分類とインペインティングの競争力ある結果を達成。

ABSTRACT

High sensitivity of neural architecture search (NAS) methods against their input such as step-size (i.e., learning rate) and search space prevents practitioners from applying them out-of-the-box to their own problems, albeit its purpose is to automate a part of tuning process. Aiming at a fast, robust, and widely-applicable NAS, we develop a generic optimization framework for NAS. We turn a coupled optimization of connection weights and neural architecture into a differentiable optimization by means of stochastic relaxation. It accepts arbitrary search space (widely-applicable) and enables to employ a gradient-based simultaneous optimization of weights and architecture (fast). We propose a stochastic natural gradient method with an adaptive step-size mechanism built upon our theoretical investigation (robust). Despite its simplicity and no problem-dependent parameter tuning, our method exhibited near state-of-the-art performances with low computational budgets both on image classification and inpainting tasks.

研究の動機と目的

• 入力ハイパーパラメータや探索空間の選択に頑健な自動的ニューラルアーキテクチャ検索（NAS）を動機づける。
• 勾配ベースの最適化を可能にするため、結合した重み-アーキテクチャ最適化を微分可能な確率緩和に変換する。
• ステップサイズとトラストレジオンを適応させる適応的確率的自然勾配（ASNG）フレームワークを開発する。
• 任意のアーキテクチャ変数タイプ（カテゴリー、順序、混合）に適用可能な統一NAS手法を提供する。

提案手法

• NASを重みxとアーキテクチャcの differentiable objective f(x,c) の最大化として定式化する。
• 分布族P_θをアーキテクチャ変数 overに導入し、J(x,θ)=E_{p_θ}[f(x,c)] を定義して stochastic relaxation を適用する。
• 勾配上昇を交互に行う: x更新は ∇_xJ のモンテカルロ推定で、θ更新は自然勾配とステップサイズ ε_θ によって行い、フィッシャー情報で正規化する。
• P_θ の指数族設定を採用し、自然勾配のモンテカルロ推定を用い、θ更新を θ←θ+ε_θ G_θ として計算する。ここで G_θ は T(c)−θ とフィッシャー計量を用いる。
• Adaptive Stochastic Natural Gradient (ASNG) を提案し、信号対ノイズ比を保つためにトラスト領域 δ_θ を適応させ、勾配情報を蓄積して安定性を保つ。実用的な更新ルール（式21）を導出して δ_θ を調整し、s^(t) および γ^(t) で安定性を確保する。

実験結果

リサーチクエスチョン

• RQ1 確率的緩和と適応的確率的自然勾配により、さまざまな探索空間とタスクに対して頑健な出力 NAS を実現できるか？
• RQ2 提案されたASNGフレームワークはハイパーパラメータ（例：ステップサイズ）への感度を低減しつつ NAS の性能を維持または向上できるか？
• RQ3 ASNG-NASは画像分類とインペインティングタスクにおいて、探索効率と最終モデル品質の点で既存のNAS手法とどう比較されるか？

主な発見

• ASNG-NAS はハイパーパラメータ設定やアーキテクチャ空間の変更に対して頑健で、問題固有の調整を減らす。
• CIFAR-10 では、ASNG-NAS はいくつかのベースラインと比較して探索コストが桁違いに低い（ASNG-NASの探索コストとして0.11 GPU-days が報告）という競争力のある検証結果を示す。
• ASNG-NAS はアーキテクチャ探索中の収束が速く、最も可能性の高いアーキテクチャを再訓練した後の結果は競争力があるか有利である。
• 方法は適切な指数族分布を用いることで任意のアーキテクチャ変数タイプ（カテゴリー、順序、混合）をサポートする。
• 実験は ASNG-NAS が画像分類とインペインティングの両タスクで良好な性能を示し、最先端に近い性能と他のいくつかの代替案よりも低い計算予算を示す。