[論文レビュー] Can weight sharing outperform random architecture search? An investigation with TuNAS

Gabriel Bender, Hanxiao Liu+5 more|arXiv (Cornell University)|Aug 13, 2020

Advanced Neural Network Applications参考文献 50被引用数 11

ひとこと要約

この論文は、大規模で現実的な画像分類および検出タスクにおいて、重み共有ニューラルアーキテクチャ探索（NAS）がランダムサーチを上回るかを調査している。TuNAS、強力な重み共有を特徴とするスケーラブルでチューニングが簡単なNASフレームワークを用いて、著者らはImageNetおよびCOCOにおいて、効率的なNASがランダムサーチを著しく上回ることを示した。特に探索空間が拡大するにつれて顕著であり、1.5%の精度向上が達成され、新しい絶対値報酬関数とオペレーション/フィルターウォームアップ手法によりハイパーパramータチューニングの必要性が低減された。

ABSTRACT

Efficient Neural Architecture Search methods based on weight sharing have shown good promise in democratizing Neural Architecture Search for computer vision models. There is, however, an ongoing debate whether these efficient methods are significantly better than random search. Here we perform a thorough comparison between efficient and random search methods on a family of progressively larger and more challenging search spaces for image classification and detection on ImageNet and COCO. While the efficacies of both methods are problem-dependent, our experiments demonstrate that there are large, realistic tasks where efficient search methods can provide substantial gains over random search. In addition, we propose and evaluate techniques which improve the quality of searched architectures and reduce the need for manual hyper-parameter tuning. Source code and experiment data are available at https://github.com/google-research/google-research/tree/master/tunas

研究の動機と目的

• 画像分類および物体検出のための大規模で現実的な探索空間において、重み共有を用いた効率的なNASがランダムサーチを著しく上回るかを検証すること。
• これまでに効率的な探索が難しいとされてきた、より複雑な探索空間においても重み共有NASの有効性を評価すること。
• 推論遅延を直接制御できる報酬関数の設計により、手動によるハイパーパramータチューニングへの依存を低減すること。
• 共有モデル重みのトレーニング安定性と性能を向上させる新規なトレーニング技術（オペレーションおよびフィルターのウォームアップ）を用いて、探索品質を向上させること。
• 分類と検出の異なるアーキテクチャ探索空間にわたって、再設定をほとんど行わずに適用可能な統一されたNASアルゴリズムを提示すること。

提案手法

• 重み共有に基づき、スケーラブルでチューニングが簡単なNASフレームワーク「TuNAS」を提案し、大規模で複雑な探索空間における効率的な探索を可能にする。
• 候補アーキテクチャ全体にわたり、積極的な重み共有を導入し、逆ボトルネックブロックあたり最大252の選択肢を含む探索空間を探索可能にする。
• 推論遅延を直接制御できる新規の絶対値報酬関数を提案し、コスト指数のグリッドサーチを不要にすることで、リソースコストを削減する。
• 共有モデル重みのトレーニング安定性と性能を向上させるために、オペレーションおよびフィルターのウォームアップ手法を採用する。
• ランダムサーチのベースラインが探索アーキテクチャと同一の遅延制約下で評価されるように、リジェクションサンプリングを用いる。
• 共有スーパーネットを用いて強化学習を実行し、高パフォーマンスなアーキテクチャを同時にトレーニングおよび探索する。

実験結果

リサーチクエスチョン

• RQ1 ImageNetおよびCOCOの大規模で現実的な探索空間において、重み共有NASはランダムサーチを著しく上回るか？
• RQ2 提案されたTuNASフレームワークは、ますます大きなおよび複雑な探索空間においても高いパフォーマンスを維持できるか？
• RQ3 絶対値報酬関数は、正確な遅延制御を可能にし、ハイパーパramータチューニングを削減するのにどの程度有効か？
• RQ4 オペレーションおよびフィルターのウォームアップ手法は、探索アーキテクチャの品質をどの程度向上させるか？
• RQ5 同じNASアルゴリズムを、分類と検出の異なる探索空間およびタスクに、大幅な再設定なしに効果的に適用できるか？

主な発見

• ImageNetのProxylessNAS探索空間において、TuNASは84msの遅延制約下で75.0% ± 0.1%のテスト精度を達成したのに対し、ランダムサーチは同条件で73.5% ± 0.2%にとどまり、顕著な性能差を示した。
• より大きな、より複雑な探索空間（例：ProxylessNAS-EnlargedおよびMobileNetV3-Like）において、TuNASとランダムサーチの性能差は拡大し、最大で1.5%の精度向上が達成された。
• 提案された絶対値報酬関数により、コスト指数のグリッドサーチを不要にし、84msのターゲット遅延を正確に制御できるようになった。MnasNet-Soft報酬と比較してリソースコストを7倍削減した。
• オペレーションおよびフィルターのウォームアップ手法により、探索品質が向上し、ProxylessNAS-Enlarged空間では性能向上の約半分が寄与した。テスト精度は74.6%から75.3%に向上した。
• 積極的な重み共有はモデル品質を劣化させず、1ブロックあたり252の選択肢を含む極めて大きな探索空間の探索を可能にし、最終的なパフォーマンスに損なわれることなく実現された。
• 同じTuNASフレームワークが、画像分類および物体検出タスクの両方で高パフォーマンスなアーキテクチャを効果的に発見でき、クロスドメインへの一般化能力を示した。