[論文レビュー] PC-DARTS: Partial Channel Connections for Memory-Efficient Architecture Search

Yuhui Xu, Lingxi Xie+5 more|arXiv (Cornell University)|Jul 12, 2019

Advanced Neural Network Applications参考文献 43被引用数 389

ひとこと要約

PC-DARTSは、チャンネルをサンプリングしエッジ正規化を追加することにより、差分可能NASにおけるメモリと計算量を削減し、CIFAR-10で0.1 GPU-daysで2.57%の誤差を、ImageNet（モバイル設定）で3.8 GPU-daysで24.2%のtop-1を達成します。

ABSTRACT

Differentiable architecture search (DARTS) provided a fast solution in finding effective network architectures, but suffered from large memory and computing overheads in jointly training a super-network and searching for an optimal architecture. In this paper, we present a novel approach, namely, Partially-Connected DARTS, by sampling a small part of super-network to reduce the redundancy in exploring the network space, thereby performing a more efficient search without comprising the performance. In particular, we perform operation search in a subset of channels while bypassing the held out part in a shortcut. This strategy may suffer from an undesired inconsistency on selecting the edges of super-net caused by sampling different channels. We alleviate it using edge normalization, which adds a new set of edge-level parameters to reduce uncertainty in search. Thanks to the reduced memory cost, PC-DARTS can be trained with a larger batch size and, consequently, enjoys both faster speed and higher training stability. Experimental results demonstrate the effectiveness of the proposed method. Specifically, we achieve an error rate of 2.57% on CIFAR10 with merely 0.1 GPU-days for architecture search, and a state-of-the-art top-1 error rate of 24.2% on ImageNet (under the mobile setting) using 3.8 GPU-days for search. Our code has been made available at: https://github.com/yuhuixu1993/PC-DARTS.

研究の動機と目的

• 差分可能アーキテクチャ探索（DARTS）におけるメモリと計算オーバーヘッドの削減を動機づける。
• 探索時のメモリ使用量を低減する部分チャネル接続スキームを導入する。
• チャネルサンプリング下でアーキテクチャ選択を安定化させるためのエッジ正規化を提案する。
• CIFAR-10とImageNetでの有効性を示し、直接ImageNet探索を含む。

提案手法

• ショートカットを介して他をバイパスしつつ、チャネルのサブセット（1/Kのチャネル）で演算探索を行い、メモリを概算でK倍削減する。
• エッジレベルのパラメータ beta_{i,j} を導入し、エッジの寄与を正規化してサンプルされたチャネル間の選択を安定化する。
• チャネルサンプル済みの演算出力を、正規化されたエッジと演算の重みを積み重ねることで、通常のDARTS定式化と組み合わせる。
• 効率を維持するためにチャネルをシャッフルしてGPU対応実装を提供する。
• 探索中により大きなバッチサイズを許容し、速度と安定性を向上させる。
• 標準のDARTS探索空間を用いて、8つの候補演算（例：separable convolutions、dilated convolutions、pooling、skip、zero）で評価する。

実験結果

リサーチクエスチョン

• RQ1 部分チャネル接続はメモリを削減し、精度を犠牲にすることなくより大きなバッチサイズを可能にできるか？
• RQ2 チャネルサンプリングがアーキテクチャ探索で使用される場合、エッジ正規化はエッジ選択を安定化させるか？
• RQ3 PC-DARTSの各変種は、DARTSや他のNAS手法と比較してCIFAR-10およびImageNetでどのように性能を示すか？
• RQ4 メモリ効率の高いNASで直接ImageNet探索は実現可能か、そして得られるアーキテクチャと精度はどうなるか？

主な発見

• PC-DARTSは0.1 GPU-daysの探索時間でCIFAR-10の誤差2.57%を達成。
• PC-DARTSは3.8 GPU-daysの探索時間でImageNet（モバイル設定）でtop-1誤差24.2%を達成。
• チャネルサンプリングは約K×のメモリ削減を実現し、CIFAR-10実験で4×大きいバッチサイズを可能にする。
• エッジ正規化はアーキテクチャ探索を安定化させ、実行ごとおよびハイパーパラメータの変動に対する頑健性を向上させる。
• PC-DARTSがCIFAR-10でDARTSのベースラインを上回る（2.57%対2.76%の誤差）と、DARTSが不安定だった直接ImageNet探索を可能にする。
• この手法は、効率的でメモリに配慮したNASを、競争力のあるまたは優れた精度とより速い探索時間でサポートする。