[論文レビュー] Weight-Sharing Neural Architecture Search: A Battle to Shrink the Optimization Gap

Lingxi Xie, Xin Chen+9 more|arXiv (Cornell University)|Aug 4, 2020

Advanced Neural Network Applications参考文献 511被引用数 28

ひとこと要約

本稿は、重み共有ニューラルアーキテクチャサーチ（NAS）における最適化ギャップに焦点を当て、スーパーネットワークは最適化されるが、サブアーキテクチャに一般化できないという問題を調査している。既存手法をギャップを縮小する戦略に基づいて分類し、統一的なフレームワークを提示するとともに、不安定性を根本的課題として特定し、将来のAutoML研究における提言を示している。

ABSTRACT

Neural architecture search (NAS) has attracted increasing attentions in both academia and industry. In the early age, researchers mostly applied individual search methods which sample and evaluate the candidate architectures separately and thus incur heavy computational overheads. To alleviate the burden, weight-sharing methods were proposed in which exponentially many architectures share weights in the same super-network, and the costly training procedure is performed only once. These methods, though being much faster, often suffer the issue of instability. This paper provides a literature review on NAS, in particular the weight-sharing methods, and points out that the major challenge comes from the optimization gap between the super-network and the sub-architectures. From this perspective, we summarize existing approaches into several categories according to their efforts in bridging the gap, and analyze both advantages and disadvantages of these methodologies. Finally, we share our opinions on the future directions of NAS and AutoML. Due to the expertise of the authors, this paper mainly focuses on the application of NAS to computer vision problems and may bias towards the work in our group.

研究の動機と目的

• 重み共有NASにおける不安定性の根本的要因、特にスーパーネットワークとサブアーキテクチャ間の最適化ギャップを特定・分析すること。
• この最適化ギャップを最小化するアプローチに基づいて、既存NAS手法を体系的に分類すること。
• サーチ戦略と評価手法を統合した一貫した分析フレームワークとして、重み共有NASの包括的視点を提供すること。
• 未解決の課題と有望な方向性を強調することで、NASおよびAutoML分野における将来の研究を導くこと。
• 著者の専門分野とバイアスに従い、コンピュータビジョン応用に焦点を当てること。

提案手法

• 重み共有NASを、すべての候補アーキテクチャが重みを共有するスーパーネットワーク内から最適なサブアーキテクチャを探索する問題として形式化すること。
• 最適化ギャップを低減する戦略に基づいてNAS手法をグループ化する統一フレームワークを提案し、サーチ戦略と評価の密接な関係に焦点を当てる。
• スーパーネットワークとサブアーキテクチャのパフォーマンスのギャップを埋める視点から、既存のアプローチを分析すること。
• アーキテクチャの正則化、動的トレーニング、勾配ベースの最適化など、最適化ギャップに対処する方法に基づいて手法をカテゴリに分類すること。
• 実験的分析と文献の統合を通じて、さまざまな技術のNASトレーニングの安定化効果を比較すること。
• スーパーネットワークの最適化がサブアーキテクチャの一般化と整合している必要があるという概念的モデルを提示すること。

実験結果

リサーチクエスチョン

• RQ1 重み共有NASにおける不安定性の原因は何であり、最適化ギャップとどのように関係しているか？
• RQ2 異なるNAS手法は、スーパーネットワークとサブアーキテクチャのパフォーマンスギャップをどのように埋めようとしているか？
• RQ3 最適化ギャップを最小化する現在の戦略の長所と短所は何か？
• RQ4 サーチ戦略と評価の結合を活用することで、NASの信頼性をどのように向上させられるか？
• RQ5 本分析に基づくNASおよびAutoMLの主な課題と今後の方向性は何か？

主な発見

• 重み共有NASにおける不安定性の主な要因は最適化ギャップである。すなわち、良好に最適化されたスーパーネットワークが、高性能なサブアーキテクチャを生み出さないという点にある。
• 最近のNAS手法は、CIFAR-10では0.1 GPU日、ImageNetでは2.0 GPU日まで探索コストを削減したが、依然として不安定性が主要なバッテリーである。
• スーパーネットワークのトレーニングをサブアーキテクチャのパフォーマンスに明示的に正則化または適合させる手法は、安定性と探索精度の両方を向上させている。
• サーチ戦略と評価の結合は極めて重要である。両者を分離すると、一般化性能が低下し、信頼性の低いアーキテクチャ発見が生じる。
• 既存のアプローチは有効性に差があり、勾配ベースの探索や強化学習、バンドイット最適化を用いる手法があるが、すべてが根本的なギャップ問題に対処する必要がある。
• 本稿は、将来のNAS研究において、スーパーネットワークからサブアーキテクチャへの一般化を最優先にすべきだと結論づけ、より良い評価指標とアーキテクチャのインダクティブバイアスの導入を提言している。