[論文レビュー] Hierarchical Neural Architecture Search via Operator Clustering

Guilin Li, Xing Zhang+5 more|arXiv (Cornell University)|Sep 26, 2019

Advanced Neural Network Applications参考文献 27被引用数 10

ひとこと要約

本稿では、相関する演算子をクラスタリングし、プロキシと最終トレーニング段階の最適化複雑度を一致させることで、DARTSを改善する階層的ニューラルアーキテクチャ探索手法StacNASを提案する。演算子の相関性と深さ/複雑度の不一致に着目することで、CIFAR-10（2.33%の誤差）、CIFAR-100、ImageNet（24.17%のtop-1誤差）において最先端の精度を達成し、多様な探索空間においてDARTSに類似した手法を上回る性能を示した。

ABSTRACT

Recently, the efficiency of automatic neural architecture design has been significantly improved by gradient-based search methods such as DARTS. However, recent literature has brought doubt to the generalization ability of DARTS, arguing that DARTS performs poorly when the search space is changed, i.e, when different set of candidate operators are used. Regularization techniques such as early stopping have been proposed to partially solve this problem. In this paper, we tackle this problem from a different perspective by identifying two contributing factors to the collapse of DARTS when the search space changes: (1) the correlation of similar operators incurs unfavorable competition among them and makes their relative importance score unreliable and (2) the optimization complexity gap between the proxy search stage and the final training. Based on these findings, we propose a new hierarchical search algorithm. With its operator clustering and optimization complexity match, the algorithm can consistently find high-performance architecture across various search spaces. For all the five variants of the popular cell-based search spaces, the proposed algorithm always obtains state-of-the-art architecture with best accuracy on the CIFAR-10, CIFAR-100 and ImageNet over other well-established DARTS-alike algorithms. Code is available at https://github.com/susan0199/StacNAS.

研究の動機と目的

• 探索空間の変化に伴うDARTSの一般化失敗を是正すること、特に候補演算子が相関している場合や、プロキシと最終トレーニング段階での最適化複雑度に差がある場合に焦点を当てる。
• 3×3および5×5の分離畳み込みなどの非常に相関の高い演算子同士の不利な競合が引き起こすアーキテクチャ探索の不安定性を解消すること。
• プロキシ探索段階の最適化複雑度を最終モデルトレーニング段階と一致させることで、アーキテクチャ探索の信頼性を向上させること。
• まず最適な演算子グループを選択し、その後各グループ内で最良の演算子を選択する階層的探索フレームワークを構築することにより、探索の安定性と性能を向上させること。

提案手法

• 2段階の階層的探索を提案：まず、特徴マップの相関性（フラット化された特徴マップのピアソン相関を用いて）に基づいて類似する演算子をクラスタリングし、その後各クラスタ内で最良の演算子を選択する。
• 高い相関性を持つ演算子間の不利な競合を軽減するための演算子クラスタリングを導入し、より信頼性の高いアーキテクチャパラメータ推定を実現する。
• 勾配の混同（gradient confusion）を用いて、プロキシ探索ネットワークと最終トレーニングネットワーク間の最適化複雑度を測定・一致させ、異なる深さにおけるスキップ接続の選択が一貫するようにする。
• 最終トレーニングの深さと一致する深さ/幅の設定をプロキシ探索段階で採用し、スキップ接続の過剰または不十分な選択を防ぐ。
• アーキテクチャパラメータを確率的勾配降下法で最適化する微分可能探索フレームワークを採用するが、演算子をグループ化することで訓練を安定化させる。
• CIFAR-10、CIFAR-100、ImageNetにおける複数のセルベース探索空間のバリエーションを用いて、手法の妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 スーパーネットにおける演算子の相関性は、微分可能NASにおけるアーキテクチャパラメータ推定の信頼性にどのように影響するか？
• RQ2 DARTSが、特に演算子タイプが異なる場合に異なる探索空間設定において一般化に失敗する理由は何か？
• RQ3 プロキシと最終トレーニング段階の間の最適化複雑度のギャップが、アーキテクチャ探索の結果にどれほど歪みをもたらすか？
• RQ4 階層的演算子クラスタリングと複雑度の一致は、多様な探索空間において微分可能NASの安定性と一般化性能を向上させ得るか？
• RQ5 学習されたアーキテクチャパラメータαと実際の性能との相関はどの程度であり、構造的変更によって改善可能か？

主な発見

• StacNASはCIFAR-10で2.33%のテスト誤差を達成し、すべてのDARTSに類似した手法を上回り、オリジナルのセルベース探索空間において新たな最先端性能を樹立した。
• ImageNet（モバイル設定）では、標準トレーニングでtop-1誤差24.17%、AutoAugmentationを適用した場合で23.12%を達成し、両方とも最先端の結果であった。
• CIFAR-10のセルベース探索空間の5つのバリエーションすべてにおいて、DARTS、CARS、PC-DARTS、DARTS-ESを一貫して上回った。
• 学習されたアーキテクチャパラメータ（α）と実際の性能との相関は、DARTSの0.2からStacNASでは0.9に上昇し、より信頼性の高いアーキテクチャ探索が可能であることを示した。
• アブレーションスタディの結果、演算子クラスタリングと複雑度の一致の両方が性能向上に顕著に寄与しており、ベースラインのDARTSと比較して誤差を0.5%以上低減した。
• 最初の段階での演算子選択に対してロバストであることが示され、クラスタからランダムにサンプリングしても強力な性能（2.53%誤差）を示し、初期クラスタ代表の感度が低いことがわかった。