[論文レビュー] Theory-Inspired Path-Regularized Differential Network Architecture Search

Pan Zhou, Caiming Xiong+2 more|arXiv (Cornell University)|Jun 30, 2020

Machine Learning and ELM参考文献 38被引用数 23

ひとこと要約

本論文は、微分可能ニューラルアーキテクチャサーチ（DARTS）におけるスキップ接続の優位性を解消する理論的インスピレーションをもつ手法、パス正則化DARTS（PR-DARTS）を提案する。理論的にスキップ接続が最適化収束を加速することを証明し、グループ構造を持つスパースゲートとパス深さごとの正則化を導入することで、公平な動作競争を確保し、深層アーキテクチャにおける探索を向上させる。画像分類ベンチマークにおいて最先端の精度を達成した。

ABSTRACT

Despite its high search efficiency, differential architecture search (DARTS) often selects network architectures with dominated skip connections which lead to performance degradation. However, theoretical understandings on this issue remain absent, hindering the development of more advanced methods in a principled way. In this work, we solve this problem by theoretically analyzing the effects of various types of operations, e.g. convolution, skip connection and zero operation, to the network optimization. We prove that the architectures with more skip connections can converge faster than the other candidates, and thus are selected by DARTS. This result, for the first time, theoretically and explicitly reveals the impact of skip connections to fast network optimization and its competitive advantage over other types of operations in DARTS. Then we propose a theory-inspired path-regularized DARTS that consists of two key modules: (i) a differential group-structured sparse binary gate introduced for each operation to avoid unfair competition among operations, and (ii) a path-depth-wise regularization used to incite search exploration for deep architectures that often converge slower than shallow ones as shown in our theory and are not well explored during the search. Experimental results on image classification tasks validate its advantages.

研究の動機と目的

• DARTSが最適化中に収束が速いためにスキップ接続が優位になる理由を理論的に説明すること。
• DARTSにおけるスキップ接続と他の演算子との間の不平等な競争が、劣悪なアーキテクチャを生じさせることを是正すること。
• 複雑なパスの探索を向上させることで、深層アーキテクチャにおける探索効率と精度を向上させること。
• 支配的となるスキップ接続を避ける原理的で理論的インスピレーションに基づくDARTSの代替手法を開発し、最先端の性能を達成すること。

提案手法

• ベルヌーイ分布を用いたグループ構造を持つスパースなバイナリゲートを導入し、演算子の使用を制御する。スキップ接続グループと非スキップ接続グループに対して、独立したスパarsity正則化を適用する。
• ゲートパラメータのスパarsityを強制するためにハードスティープ関数を適用し、演算子タイプ間の不平等な競争を低減する。
• 浅いセルに偏るバイアスを是正するため、パス深さごとの正則化を実装する。これは、標準DARTSでは収束が速く、過剰に選択されるためである。
• アーキテクチャパラメータを検証損失の勾配降下法で更新する微分可能サーチフレームワークを用い、演算子選択のバランスを取るための修正された目的関数を採用する。
• リプシッツ連続性および滑らかさの仮定の下で収束速度の理論的分析を行い、スキップ接続が最適化速度に与える影響を正当化する。
• 両正則化要素を統合した統一的なPR-DARTSフレームワークを構築し、演算子競合と深さバイアスの両方を同時に是正する。

実験結果

リサーチクエスチョン

• RQ1 なぜスキップ接続は性能に悪影響を及げるにもかかわらず、DARTSで優位に立つのか？
• RQ2 DARTSの収束速度は、スキップ接続と他の演算子の有無にどのように依存するのか？
• RQ3 理論的インスピレーションに基づく正則化戦略は、微分可能NASにおける異なる演算子タイプ間の公平な競争を実現できるか？
• RQ4 パス深さごとの正則化は、収束が速いために浅いパスが優先されやすい深層アーキテクチャにおける探索をどのように向上させられるか？
• RQ5 スキップ接続の優位性を排除することで、高い探索効率を維持しつつ、より優れた性能を達成できるように改良されたDARTSフレームワークは可能か？

主な発見

• 理論的分析により、スキップ接続が構造的性質のおかげで収束を加速することを証明し、検索における優位性の理由を説明した。
• PR-DARTSは、標準DARTSと比較して、探索されたアーキテクチャにおけるスキップ接続の割合を低減し、一般化性能を向上させた。
• グループ構造を持つスパースゲートは、独立したスパarsity制御により、演算子タイプ間の不平等な競争を効果的に緩和した。
• パス深さごとの正則化は、浅いセルへのバイアスを効果的に低減し、より深いパスの探索を向上させた。
• PR-DARTSは、画像分類ベンチマークで最先端の精度を達成し、標準DARTSおよび先行手法を上回った。
• 実験的結果により、PR-DARTSは高い探索効率を維持しながら、より多様で優れた性能を示すアーキテクチャを生成することが確認された。