[論文レビュー] Path-Level Network Transformation for Efficient Architecture Search

Han Cai, Jiacheng Yang+3 more|arXiv (Cornell University)|Jun 7, 2018

Advanced Neural Network Applications参考文献 32被引用数 118

ひとこと要約

パスレベルで機能を保持するネットワーク変換を導入し、ニューロンネットワークのトポロジー変更を可能にする一方で、表現力豊かなツリー構造のアーキテクチャを探索する双方向の木構造 RL メタコントローラを組み合わせ、限られた計算資源で CIFAR-10 および ImageNet Mobile の強力な結果を達成する。

ABSTRACT

We introduce a new function-preserving transformation for efficient neural architecture search. This network transformation allows reusing previously trained networks and existing successful architectures that improves sample efficiency. We aim to address the limitation of current network transformation operations that can only perform layer-level architecture modifications, such as adding (pruning) filters or inserting (removing) a layer, which fails to change the topology of connection paths. Our proposed path-level transformation operations enable the meta-controller to modify the path topology of the given network while keeping the merits of reusing weights, and thus allow efficiently designing effective structures with complex path topologies like Inception models. We further propose a bidirectional tree-structured reinforcement learning meta-controller to explore a simple yet highly expressive tree-structured architecture space that can be viewed as a generalization of multi-branch architectures. We experimented on the image classification datasets with limited computational resources (about 200 GPU-hours), where we observed improved parameter efficiency and better test results (97.70% test accuracy on CIFAR-10 with 14.3M parameters and 74.6% top-1 accuracy on ImageNet in the mobile setting), demonstrating the effectiveness and transferability of our designed architectures.

研究の動機と目的

• レイヤー単位の編集を超えたアーキテクチャ探索を、機能を保持しつつパストポロジーを変更することで動機づけ、実現可能にする。
• Inception モデルのような複雑なパストポロジーの再利用と探索を可能にするパスレベル変換操作を提案する。
• ツリー構造のアーキテクチャ空間と、それをナビゲートする双方向の Tree-LSTM ベースの RL メタコントローラを定義する。
• 限られた GPU-時間の下で CIFAR-10 のサンプル効率的な探索と ImageNet モバイル設定への転移性を実証する。

提案手法

• 単一のレイヤーを多分岐モチーフに置換し、全体の機能を保持するパスレベルのネットワーク変換操作を定義する。
• ブランチ内で Net2Net スタイルの深さと幅を拡張する変換を用いて、多様なパスのトポロジーを作成する。
• 割り当て（複製/分割）と結合（加算/連結）スキームを備えた木構造のアーキテクチャ空間を構築する。
• 下向きおよび上向きの Tree-LSTM を備えた双方向の木構造 RL メタコントローラを用いて、アーキテクチャを変換へマッピングする。
• 検証精度に由来する報酬と分散を減らすための小さなベースラインを用いて REINFORCE でメタコントローラを訓練する。

実験結果

リサーチクエスチョン

• RQ1 パスレベルの機能保持変換は、レイヤー単位の編集よりリッチなパストポロジーを持つネットワークの効率的な探索を可能にするか。
• RQ2 木構造の RL コントローラは、チェーン/フラットなエンコーディングと比べて探索効率と発見されたアーキテクチャを改善するか。
• RQ3 学習した木構造セルは、より大きなベースネットワークへの転送性や、ImageNet のモバイル設定への適用性が高いか。

主な発見

• Best discovered CIFAR-10 cells achieve 3.64% test error with DenseNet-based bases (3.2M parameters) and 3.14% with regularization, outperforming several baselines with far fewer parameters.
• With regularization (DropPath/Cutout) the CIFAR-10 best cell reaches 2.30% test error at 14.3M parameters, and 2.49% at 5.7M parameters.
• On CIFAR-10, TreeCell-A embedded in DenseNet/PyramidNet yields competitive/tested results with far fewer parameters than hand-designed or prior NAS models.
• In ImageNet Mobile setting, TreeCell-A with CondenseNet achieves 25.5% top-1 and 8.0% top-5, TreeCell-B achieves 25.4% top-1, comparable or better than NASNet-A with similar FLOPs but using far less compute (about 200 GPU-hours).
• The approach demonstrates transferability of learned tree cells across architectures (DenseNet and PyramidNet) and across datasets with restricted computational resources.