[論文レビュー] Local Search is State of the Art for Neural Architecture Search Benchmarks

Colin White, Sam Nolen+1 more|arXiv (Cornell University)|May 6, 2020

Machine Learning and Algorithms参考文献 50被引用数 13

ひとこと要約

この論文は、単純な局所探索アルゴリズムがNASBench-101およびNASBench-201で最先端の性能を達成することを示しており、そのシンプルさにもかかわらず、高度なニューラルアーキテクチャ探索手法を上回っている。著者らは、グラフベースの最適化問題における局所探索の有効性を示す理論的分析とシミュレーションを提供しており、コードと結果は公開されている。

ABSTRACT

Local search is one of the simplest families of algorithms in combinatorial optimization, yet it yields strong approximation guarantees for canonical NP-Complete problems such as the traveling salesman problem and vertex cover. While it is a ubiquitous algorithm in theoretical computer science, local search is often neglected in hyperparameter optimization and neural architecture search. We show that the simplest local search instantiations achieve state-of-the-art results on multiple NAS benchmarks (NASBench-101 and NASBench-201), outperforming the most popular recent NAS algorithms. However, local search fails to perform well on the much larger DARTS search space. Motivated by these observations, we present a theoretical study which characterizes the performance of local search on graph optimization problems, backed by simulation results. This may be of independent interest beyond NAS. All code and materials needed to reproduce our results are publicly available at this https URL.

研究の動機と目的

• 単純な局所探索アルゴリズムがニューラルアーキテクチャ探索（NAS）で最先端の性能を達成できるかどうかを調査すること。
• DARTSのようなより大きな探索空間における局所探索の限界を理解すること。
• NASに関連するグラフ最適化問題における局所探索の性能を理論的に特徴づけること。
• 複雑なNASアルゴリズムの代替として実用的で軽量な手法を提供し、標準ベンチマークで高い性能を発揮すること。

提案手法

• 各アーキテクチャを候補解とみなすニューラルアーキテクチャ探索に基本的な局所探索ヒューリスティクスを適用し、局所的な移動（例：レイヤーまたは演算の変更）を含む。
• NASBench-101およびNASBench-201ベンチマーク上で局所探索アルゴリズムを評価し、探索空間内のすべてのアーキテクチャに対して完全な精度評価を提供する。
• グラフベースの最適化問題における局所探索の性能を特徴づける理論的分析を行い、特に近似保証の観点から検討する。
• シミュレーションを用いて理論的知見を検証し、異なる問題構造における局所探索の挙動を調査する。
• 同じベンチマーク上で局所探索の結果を最先端のNAS手法と比較し、性能優位性を確立する。
• すべてのコードと実験資料を公開し、再現性を確保するとともに、さらなる研究を促進する。

実験結果

リサーチクエスチョン

• RQ1 単純な局所探索アルゴリズムは、NASBench-101やNASBench-201のような標準的なNASベンチマークで最先端の性能を達成できるか？
• RQ2 小さなベンチマークでは成功しているにもかかわらず、なぜ局所探索はより大きなDARTS探索空間ではうまく機能しないのか？
• RQ3 グラフベースの最適化問題における局所探索の有効性をもたらす理論的特性は何か？
• RQ4 探索空間の構造的特徴が、NASにおける局所探索の有効性にどのように影響するか？
• RQ5 実際の応用において、複雑なNASアルゴリズムの代替として局所探索は実用的かつ軽量な選択肢として成立するか？

主な発見

• 局所探索はNASBench-101およびNASBench-201で最先端の性能を達成し、最近のより複雑なNAS手法を上回っている。
• 局所探索の成功は、局所的な移動が顕著な性能向上をもたらす探索空間の構造に起因する。
• DARTS探索空間では、その巨大さと高い複雑さが原因で、局所的摂動の有効性が制限され、局所探索が失敗する。
• 理論的分析により、局所最適解の構造が有利なグラフ最適化問題では、局所探索が良好に機能することが明らかになった。
• シミュレーションにより、探索空間の密度と接続性が局所探索の効率に影響し、疎で構造的な空間ほど性能が向上することが確認された。
• これらの結果は、探索空間に利用可能な局所構造がある場合、単純なアルゴリズムがNASにおいて非常に効果的である可能性を示している。