[論文レビュー] PC-DARTS: Partial Channel Connections for Memory-Efficient Differentiable Architecture Search.

Yuhui Xu, Lingxi Xie+5 more|arXiv (Cornell University)|Jul 12, 2019

Machine Learning and ELM被引用数 125

ひとこと要約

PC-DARTS は、探索中にスーパーネット内のチャンネルのサブセットのみをサンプリングすることで、メモリ効率の良い微分可能アーキテクチャ探索手法を導入した。エッジ正規化を適用することでエッジ選択を安定化させ、より大きなバッチサイズを用いた高速で安定した学習を可能にし、CIFAR-10 では 0.1 GPU 日で 2.57% のテスト誤差、ImageNet（モバイル設定）では 3.8 GPU 日で 24.2% のトップ-1誤差を達成した。

ABSTRACT

Differentiable architecture search (DARTS) provided a fast solution in finding effective network architectures, but suffered from large memory and computing overheads in jointly training a super-net and search for an optimal architecture. In this paper, we present a novel approach, namely Partially-Connected DARTS, by sampling a small part of super-net to reduce the redundancy in network space, thereby performing a more efficient search without comprising the performance. In particular, we perform operation search in a subset of channels and leave the held out part unchanged. This strategy may suffer from an undesired inconsistency on selecting the edges of super-net caused by the sampling of different channels. We solve it by introducing edge normalization, which adds a new set of edge-level hyper-parameters during search to reduce uncertainty in search. Thanks to the reduced memory cost, PC-DARTS can be trained with a larger batch size and, consequently, enjoys both faster speed and higher training stability. Experimental results demonstrate the effectiveness of the proposed method. Specifically, we achieve an error rate of 2:57% on CIFAR10 within merely 0:1 GPU-days for architecture search, and a state-of-the-art top-1 error rate of 24:2% on ImageNet (under the mobile setting) within 3.8 GPU-days for search. We have made our code available: https://github.com/yuhuixu1993/PC-DARTS.

研究の動機と目的

• 標準 DARTS のアーキテクチャ探索における高いメモリおよび計算コストを低減すること。
• スーパーネット内でチャンネルのサブセットのみをサンプリングすることによって生じるエッジ選択の不安定性を解消すること。
• メモリ消費量を顕著に低減しつつ、高い探索性能を維持すること。
• 学習の安定性と速度を向上させるために、より大きなバッチサイズを用いることを可能にすること。

提案手法

• 探索段階において、スーパーネット内のチャンネルのサブセットのみをサンプリングすることで、冗長性とメモリ使用量を削減する。
• 演算の探索は選択されたチャンネルのサブセットで実行されるが、残りのチャンネルは変更されないまま維持され、特徴表現が保持される。
• エッジ正規化は、アーキテクチャ探索意思決定における不確実性と一貫性の欠如を低減するための学習可能なエッジレベルのハイパーパrameterの集合として導入された。
• 微分可能探索のパラダイムを維持しているが、それをチャンネルの一部に限定的に適用することで、性能を損なわずに効率性を向上させた。
• メモリフットプリントが削減されたため、訓練プロセスではより大きなバッチサイズが利用可能となり、学習の安定性と収束速度が向上した。

実験結果

リサーチクエスチョン

• RQ1 スーパーネット内でチャンネルのサブセットのみをサンプリングすることで、性能に悪影響を与えずにメモリ消費量を削減できるか？
• RQ2 探索時にチャンネルの一部しか使用しない場合に、エッジ選択の不一致をどのように緩和できるか？
• RQ3 部分的接続による探索空間の縮小は、収束速度の向上と訓練の安定性の向上に寄与するか？
• RQ4 PC-DARTS は、メモリと時間の制約のもとで、CIFAR-10 や ImageNet のベンチマークデータセットにおいて、どの程度最先端の性能を達成できるか？

主な発見

• PC-DARTS は、探索時間 0.1 GPU 日で CIFAR-10 においてトップ-1誤差 2.57% を達成した。
• モバイル設定の ImageNet では、探索時間 3.8 GPU 日で、最先端のトップ-1誤差 24.2% を達成した。
• メモリ使用量の削減により、より大きなバッチサイズが利用可能となり、学習が高速化され、安定性が向上した。
• エッジ正規化は、部分的チャンネルサンプリングにもかかわらず、エッジ選択の不確実性を効果的に低減し、探索の一貫性を向上させた。
• 提案手法は、標準 DARTS に比べて計算およびメモリのオーバーヘッドを顕著に低減しながらも、高い性能を維持した。