[論文レビュー] Efficient Forward Architecture Search

Hanzhang Hu, John Langford+4 more|arXiv (Cornell University)|May 31, 2019

Domain Adaptation and Few-Shot Learning参考文献 40被引用数 9

ひとこと要約

本稿では、中間層における勾配ブースティングに類似した更新を用いて、短絡接続を段階的に追加することでニューラルネットワークを成長させる前向き型ニューラルアーキテクチャ探索（NAS）アルゴリズム「Petridish」を提案する。すべての候補となる短絡接続を同時に訓練し、L1正則化を適用して選択することで、数日間のGPU時間で競争力ある性能を達成し、特にウォームスタートおよびライフタイム学習のシナリオで優れた結果を示している。

ABSTRACT

We propose a neural architecture search (NAS) algorithm, Petridish, to iteratively add shortcut connections to existing network layers. The added shortcut connections effectively perform gradient boosting on the augmented layers. The proposed algorithm is motivated by the feature selection algorithm forward stage-wise linear regression, since we consider NAS as a generalization of feature selection for regression, where NAS selects shortcuts among layers instead of selecting features. In order to reduce the number of trials of possible connection combinations, we train jointly all possible connections at each stage of growth while leveraging feature selection techniques to choose a subset of them. We experimentally show this process to be an efficient forward architecture search algorithm that can find competitive models using few GPU days in both the search space of repeatable network modules (cell-search) and the space of general networks (macro-search). Petridish is particularly well-suited for warm-starting from existing models crucial for lifelong-learning scenarios.

研究の動機と目的

• 既存のNAS手法、特に候補アーキテクチャを個別に訓練する手法に起因する高い計算コストと非効率性を解消すること。
• 既存モデルからのウォームスタートや再訓練なしに、効率的かつ段階的なモデル拡張を可能にすること。
• 特徴選択にインspiredされた前向き探索が、バックワード型やサンプリングベースのNAS手法と同等またはそれ以上の効果を発揮できることを示すこと。
• マクロサーチは、通常はセルサーチに劣ると考えられているが、効率的な探索戦略と組み合わせることで、競争力ある性能を達成できることを示すこと。
• スパarsity誘導型正則化を用いた候補接続の共同訓練により、探索時間の短縮とサンプル効率の向上を実現すること。

提案手法

• アルゴリズムは、既存の層間の短絡接続を追加することでネットワークを段階的に成長させる。これは、前向き段階的線形回帰を模倣する。
• 各段階で、すべての可能な短絡接続を共有モデルを用いて同時に訓練することで、アーキテクチャ空間の効率的探索が可能になる。
• 候補となる短絡接続の重みにL1正則化を適用し、スパarsityを促進して最も効果的な接続を選択する。
• この手法はLARS（Least-Angle Regression）アルゴリズムにインspiredされ、中間特徴層に勾配ブースティングの原則を適用する。
• セルサーチ（学習済みセルパターンの繰り返し）とマクロサーチ（自由形式の接続パターン）の両方をサポートし、両者で一貫した性能を発揮する。
• 重み共有を用いて、すべての候補アーキテクチャの集合を同時に訓練することで、各候補を個別に訓練する必要を減らす。

実験結果

リサーチクエスチョン

• RQ1 中間層における勾配ブースティングに基づく前向きアーキテクチャ探索戦略は、著しく低い探索コストで競争力ある性能を達成できるか？
• RQ2 性能と効率の観点から、前向きNASは、既存のサンプリングベースおよびスーパーグラフベースのNAS手法と比較して、どのように差をつけるか？
• RQ3 マクロサーチは、通常はセルサーチに劣ると考えられているが、効率的な探索アルゴリズムと組み合わせることで、最先端の結果を達成できるか？
• RQ4 初期モデルの品質が、探索プロセスの最終的性能にどの程度影響を与えるか？
• RQ5 提案手法は、複雑さと精度が異なるさまざまなモデルのスケールを自然に生成でき、ライフタイム学習や転移学習に適したものとなるか？

主な発見

• セルサーチにおいて、CIFAR-10で2.88%のテスト誤差率を達成し、2.8Mパラメータと10.5 GPU日間で、コスト効率において以前の手法を上回った。
• マクロサーチ版のPetridishは、ImageNetで4.3Mパラメータと511M乗加算を用いて28.7%のトップ1誤差率を達成し、最先端の人為設計モデルと同等の性能を示した。
• 転移されたPetridishセルサーチモデルは、4.8Mパラメータと598M乗加算を用いてImageNetで26.3%の誤差率を達成し、最高水準の既存の結果と同等であった。
• Petridishセルサーチの複数の独立した探索ランは一貫した結果（平均誤差2.88% ± 0.15）を示し、ランダム初期化やハイパーパramータのばらつきに対して頑健であることが示された。
• アルゴリズムは、複雑さと精度が異なる多様なモデルの集合を発見し、さまざまなハードウェア制約に適した自然なスケールのモデルスケールを形成した。
• NASNet や AmoebaNet などの以前のNAS手法とは異なり、Petridishは探索時間を1〜2桁短縮した。