[論文レビュー] ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and Gradients Accumulation

Xiaoxing Wang, Xiangxiang Chu+5 more|arXiv (Cornell University)|Nov 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 40被引用数 4

ひとこと要約

ROMEは、パラメータの分離と勾配蓄積を用いて接続と演算を分離することで、単一路微分可能NASにおける不安定性を解消する、耐障害性が高くメモリ効率の良いニューラルアーキテクチャサーチ手法を提案する。この手法は、複数のベンチマークで最先端の性能を達成し、探索の安定性と一貫性が向上している。

ABSTRACT

Single-path based differentiable neural architecture search has great strengths for its low computational cost and memory-friendly nature. However, we surprisingly discover that it suffers from severe searching instability which has been primarily ignored, posing a potential weakness for a wider application. In this paper, we delve into its performance collapse issue and propose a new algorithm called RObustifying Memory-Efficient NAS (ROME). Specifically, 1) for consistent topology in the search and evaluation stage, we involve separate parameters to disentangle the topology from the operations of the architecture. In such a way, we can independently sample connections and operations without interference; 2) to discount sampling unfairness and variance, we enforce fair sampling for weight update and apply a gradient accumulation mechanism for architecture parameters. Extensive experiments demonstrate that our proposed method has strong performance and robustness, where it mostly achieves state-of-the-art results on a large number of standard benchmarks.

研究の動機と目的

• 単一路微分可能NASにおける探索不安定性という、これまで軽視されてきた問題に取り組む。これは、低メモリ使用量であるがゆえに信頼性が損なわれる要因である。
• 接続と演算のパラメータを分離することで、探索段階と評価段階におけるアーキテクチャのトポロジーの一貫性を保証する。
• アーキテクチャ最適化中の重み更新におけるサンプリングのばらつきと不平等性を低減する。
• 勾配蓄積とトポロジー分離を用いて、メモリ効率の良いNASの耐障害性と性能の一貫性を向上させる。

提案手法

• アーキテクチャのトポロジー（接続）と演算を分離するための別個のパラメータを導入し、接続と演算を独立してサンプリング可能にする。
• 複数のサンプリングステップにおける勾配の平均化により、アーキテクチャパラメータの更新を安定化する勾配蓄積メカニズムを採用する。
• 異なる接続構成にわたる更新を均等に分配することで、アーキテクチャパラメータのサンプリングを公平にする。
• メモリ効率を保ちながら、アーキテクチャ的分離によって安定性を向上させるために、単一路の探索パスを維持する。
• 勾配ベース最適化を用いた微分可能探索を採用するが、アーキテクチャパラメータの更新におけるばらつきとバイアスを低減するように更新プロセスを変更する。

実験結果

リサーチクエスチョン

• RQ1 単一路NASにおけるトポロジーのエンタングルメントは、なぜ探索不安定性を引き起こすのか？
• RQ2 接続と演算の間でのパラメータ分離は、探索の一貫性を向上させることができるか？
• RQ3 勾配蓄積は、アーキテクチャパラメータの更新におけるサンプリングばらつきをどの程度低減できるか？
• RQ4 提案手法は、既存のメモリ効率の良いNASアプローチと比較して、より優れた性能と耐障害性を達成できるか？

主な発見

• ROMEは、幅広い標準ベンチマークで最先端の性能を達成し、優れた探索安定性と一貫性を示している。
• この手法は、単一路NASにおけるトポロジーと演算のエンタングルメントが引き起こす探索不安定性を顕著に低減している。
• 勾配蓄積は、サンプリングばらつきを効果的に低減し、アーキテクチャパラメータの更新の公平性を向上させている。
• トポロジー分離により、接続と演算の独立したサンプリングが干渉なく可能になり、トレーニングの安定性が向上している。