[論文レビュー] Towards Improving the Consistency, Efficiency, and Flexibility of Differentiable Neural Architecture Search

Yibo Yang, Shan You+4 more|arXiv (Cornell University)|Jan 27, 2021

Advanced Neural Network Applications参考文献 55被引用数 8

ひとこと要約

この論文では、エンジン・セルとトランジット・セルを用いて探索と評価を分離することで、一貫性、効率性、柔軟性を向上させる微分可能ニューラルアーキテクチャ探索フレームワークであるEnTranNASを提案する。微分可能スパース化とトポロジー学習を可能にし、CIFAR-10では0.06 GPU日、ImageNetでは2.1 GPU日で最先端の性能を達成する。また、柔軟で制約のないアーキテクチャトポロジーをサポートする。

ABSTRACT

Most differentiable neural architecture search methods construct a super-net for search and derive a target-net as its sub-graph for evaluation. There exists a significant gap between the architectures in search and evaluation. As a result, current methods suffer from an inconsistent, inefficient, and inflexible search process. In this paper, we introduce EnTranNAS that is composed of Engine-cells and Transit-cells. The Engine-cell is differentiable for architecture search, while the Transit-cell only transits a sub-graph by architecture derivation. Consequently, the gap between the architectures in search and evaluation is significantly reduced. Our method also spares much memory and computation cost, which speeds up the search process. A feature sharing strategy is introduced for more balanced optimization and more efficient search. Furthermore, we develop an architecture derivation method to replace the traditional one that is based on a hand-crafted rule. Our method enables differentiable sparsification, and keeps the derived architecture equivalent to that of Engine-cell, which further improves the consistency between search and evaluation. Besides, it supports the search for topology where a node can be connected to prior nodes with any number of connections, so that the searched architectures could be more flexible. For experiments on CIFAR-10, our search on the standard space requires only 0.06 GPU-day. We further have an error rate of 2.22% with 0.07 GPU-day for the search on an extended space. We can also directly perform the search on ImageNet with topology learnable and achieve a top-1 error rate of 23.8% in 2.1 GPU-day.

研究の動機と目的

• 微分可能NASにおけるアーキテクチャギャップに起因する探索時と評価時の不一致を解消すること。
• スーパーネット学習におけるメモリおよび計算コストを削減するため、探索と導出を分離すること。
• 手動で設計されたトポロジー則に依存せずに、微分可能で柔軟なアーキテクチャ探索を可能にすること。
• トランジット・セル間での特徴量共有戦略により最適化のバランスを改善すること。
• 微分可能スパース化を用いて、ノードごとに任意の接続性を持つトポロジー学習を可能にすること。

提案手法

• 微分可能なアーキテクチャ探索のためのエンジン・セルと、軽量でパラメータフリーなアーキテクチャ導出のためのトランジット・セルを導入する。
• 探索中にパラメータ更新のバランスを保ち、メモリ使用量を削減するための特徴量共有戦略を採用する。
• 導出アーキテクチャと探索時アーキテクチャの等価性を維持する微分可能なスパース化手法を提案する。
• 固定則（例：top-k選択）に置き換えるために、トポロジーのエンドツーエンド学習を可能にする学習可能なアーキテクチャパラメータライゼーションを用いる。
• 温度を段階的に低下させるGumbel-Softmaxとスパarsity正則化損失を組み合わせたEnTranNAS-DSTを導入し、柔軟なトポロジー学習を実現する。
• 接続を段階的に適応的に削除するプログレッシブスパースフィケーション戦略を適用し、計算量を削減しながら性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 探索時と評価時のアーキテクチャのギャップを小さくすることで、微分可能NASにおける一貫性を向上させられるか？
• RQ2 スーパーネット学習の計算およびメモリオーバーヘッドを、探索品質を損なわず著しく削減できるか？
• RQ3 ノードが以前のノードの任意の数に接続できる柔軟なトポロジーを、微分可能なアーキテクチャ探索がサポートできるか？
• RQ4 手動で設計されたプルーニング則（例：top-k選択）よりも、微分可能なスパース化がより良い一般化性能をもたらすか？
• RQ5 エンドツーエンドで微分可能なトポロジー学習は、既存の手法に比べ、探索効率および精度で優れているか？

主な発見

• 拡張された探索空間で探索した場合、CIFAR-10では2.22%のトップ-1誤差率を達成し、0.07 GPU日で実現した。
• CIFAR-10では、標準的な探索空間で0.06 GPU日で探索が完了し、従来手法と比較して顕著に探索コストを削減した。
• ImageNetでは直接探索を実施し、2.1 GPU日でトップ-1誤差率24.3%を達成し、より高い探索コストを要する手法を上回った。
• EnTranNAS-DSTは、2.1 GPU日でImageNetでトップ-1誤差率23.8%を達成し、EnTranNASおよびPC-DARTSを上回る精度を示した。また、制約のないトポロジー学習をサポートした。
• アブレーションスタディにより、ハイパーパrameter λ を制御することで、多様な容量とトポロジーを持つアーキテクチャの探索が可能であることが確認された。
• 微分可能なスパース化のおかげで、導出アーキテクチャが探索時アーキテクチャと等価のまま維持されるため、本手法は優れた効率性と一貫性を示した。