[論文レビュー] SGAS: Sequential Greedy Architecture Search

Guohao Li, Guocheng Qian+4 more|arXiv (Cornell University)|Nov 30, 2019

Machine Learning in Materials Science参考文献 67被引用数 12

ひとこと要約

SGASは、エッジの重要度、選択の確信度、安定性というヒューリスティック基準を用いて、グリーディで二段階最適化のプロセスでアーキテクチャ探索をガイドする逐次的グリーディアーキテクチャサーチ手法を提案する。この手法は、最小限の計算コストで、CIFAR-10、ImageNet、ModelNet40、PPIの画像分類、3次元点群分類、ノード分類の各タスクで最先端の性能を達成し、手作業で設計されたモデルやランダムサーチを上回り、単一GPUで4分未満の探索時間にまで短縮する。

ABSTRACT

Architecture design has become a crucial component of successful deep learning. Recent progress in automatic neural architecture search (NAS) shows a lot of promise. However, discovered architectures often fail to generalize in the final evaluation. Architectures with a higher validation accuracy during the search phase may perform worse in the evaluation. Aiming to alleviate this common issue, we introduce sequential greedy architecture search (SGAS), an efficient method for neural architecture search. By dividing the search procedure into sub-problems, SGAS chooses and prunes candidate operations in a greedy fashion. We apply SGAS to search architectures for Convolutional Neural Networks (CNN) and Graph Convolutional Networks (GCN). Extensive experiments show that SGAS is able to find state-of-the-art architectures for tasks such as image classification, point cloud classification and node classification in protein-protein interaction graphs with minimal computational cost. Please visit https://www.deepgcns.org/auto/sgas for more information about SGAS.

研究の動機と目的

• 探索中に高い検証精度を示すアーキテクチャでも、最終評価で一般化できないという神経ネットワークアーキテクチャサーチ（NAS）における一般的な問題に対処すること。
• 多様なタスクにおける性能を維持または向上させつつ、アーキテクチャサーチの計算コストを低減すること。
• 探索段階での検証精度と最終評価精度の相関を高め、探索と評価の精度差を最小限に抑える手法を開発すること。
• 複数のデータセットとタスクにわたって、畳み込みニューラルネットワーク（CNNs）とグラフコンボリューションネットワーク（GCNs）の両方で効率的なアーキテクチャサーチを可能にすること。

提案手法

• SGASはアーキテクチャサーチ問題を逐次的な部分問題に分解し、ヒューリスティック基準に基づいて反復的に演算子を選択・削除することでグリーディに解く。
• 本手法は3つの主要な基準を用いる：エッジの重要度（各演算子が性能に与える寄与度）、選択の確信度（選択に対する信頼度）、選択の安定性（複数回の探索実行における一貫性）。
• これらの基準は、検証性能に基づいてアーキテクチャを最適化しつつ計算効率を維持する二段階最適化フレームワーク内で探索プロセスをガイドする。
• 探索はセルベースの探索空間で行われ、発見されたセルを積み重ねて最終的なアーキテクチャを構築し、評価に用いる。
• 本手法は高コストな強化学習や微分可能サーチを避け、最小限のハイパーパramータチューニングで済む効率的なグリーディ選択に依存する。
• SGASはCIFAR-10およびImageNetにおけるCNN（畳み込みニューラルネットワーク）と、ModelNet40およびPPIにおけるGCN（グラフコンボリューションネットワーク）に適用され、タスク全体で一貫した性能向上を示した。

実験結果

リサーチクエスチョン

• RQ1 グリーディなアーキテクチャサーチ手法は、探索中の検証精度と最終評価精度の乖離を低減できるか？
• RQ2 ヒューリスティックに基づく非微分可能サーチ手法は、従来のNAS手法と比較して顕著に低い計算コストで最先端の性能を達成できるか？
• RQ3 エッジの重要度、選択の確信度、選択の安定性の使用は、探索されたアーキテクチャの信頼性と一般化性能を向上させるか？
• RQ4 SGASは、多様なベンチマークにおいてCNNおよびGCNの両設定で、高パフォーマンスなアーキテクチャを効果的に探索できるか？

主な発見

• SGASはCIFAR-10およびImageNetで、わずか0.003 GPU日という極めて低い探索コストで最先端の精度を達成するアーキテクチャを発見した。
• 3次元点群分類のModelNet40において、最高のSGASアーキテクチャ（Cri.2 best）は94.8％の精度を達成し、すべての手作業で設計されたモデルやランダムサーチベースラインを上回った。
• ノード分類のPPIデータセットにおいて、SGAS（Cri.2 best）は99.46％のマイクロ-F1スコアを達成し、SOTAのDenseMRGCN-14を0.03％上回り、パラメータ数を30.24Mも削減した。
• PPIにおけるSGASの平均性能（Cri.2 avg.）は99.40％±0.09であり、ベースラインのランダムサーチおよびSGAS（Cri.1 avg.）を上回り、Criterion 2による安定性の向上が示された。
• PPIにおける小型SGASモデルは、わずか0.40Mのパラメータで98.89％のマイクロ-F1スコアを達成し、効率性とスケーラビリティを示した。
• SGASは、探索段階での検証精度と最終評価精度の間に強い相関を示し、DARTSなどの手法で見られる一般的な「探索-評価ギャップ」を低減した。