[論文レビュー] DOTS: Decoupling Operation and Topology in Differentiable Architecture Search

Yuchao Gu, Wang, Li-Juan+5 more|arXiv (Cornell University)|Oct 2, 2020

Advanced Image and Video Retrieval Techniques参考文献 63被引用数 5

ひとこと要約

DOTSは、異なる微分可能ニューラルアーキテクチャ探索（NAS）における演算とトポロジー探索を分離することを提案し、エッジの組み合わせ重みに基づくトポロジー探索空間を導入することで、トポロジーの重要性を明示的にモデル化する。トポロジー表現を演算重みから分離し、エッジ数の柔軟な変更を可能にすることで、CIFAR100では最大2.33%の精度向上を達成し、CIFAR10ではわずか0.26 GPU日で97.51%の精度を達成する。

ABSTRACT

Differentiable Architecture Search (DARTS) has attracted extensive attention due to its efficiency in searching for cell structures. DARTS mainly focuses on the operation search and derives the cell topology from the operation weights. However, the operation weights can not indicate the importance of cell topology and result in poor topology rating correctness. To tackle this, we propose to Decouple the Operation and Topology Search (DOTS), which decouples the topology representation from operation weights and makes an explicit topology search. DOTS is achieved by introducing a topology search space that contains combinations of candidate edges. The proposed search space directly reflects the search objective and can be easily extended to support a flexible number of edges in the searched cell. Existing gradient-based NAS methods can be incorporated into DOTS for further improvement by the topology search. Considering that some operations (e.g., Skip-Connection) can affect the topology, we propose a group operation search scheme to preserve topology-related operations for a better topology search. The experiments on CIFAR10/100 and ImageNet demonstrate that DOTS is an effective solution for differentiable NAS.

研究の動機と目的

• DARTSにおける演算重みが真のトポロジー重要性を適切に反映していないことによる、誤ったトポロジー順位付けの制限を解消すること。
• トポロジー表現を演算重みから分離し、明示的かつ正確なトポロジー探索を可能にすること。
• 探索されたセルにおけるエッジ数の柔軟な可変性をサポートすることで、DARTSの固定エッジ制約を克服すること。
• 演算探索とトポロジー探索のプロセスを分離することで、探索の効率性と精度を向上させること。
• トポロジー関連の演算（例：スキップ接続）を演算探索中に保持することで、有効なトポロジー選択肢を維持すること。

提案手法

• 候補エッジの対ごとの組み合わせからなるトポロジー探索空間を導入し、トポロジー選択の連続的リラクゼーションを可能にする。
• エッジの組み合わせ重みを用いてトポロジーの重要性を表現し、エッジの組み合わせ分布を直接モデル化する。
• 探索プロセスを2段階に分離する：演算探索（学習可能な演算重みを使用）とトポロジー探索（エッジの組み合わせ重みを使用）。
• グループ演算探索戦略を適用し、演算探索段階でトポロジー関連の演算（例：スキップ接続）を保持する。
• 効率性と正確性を向上させるために、縮小されたスーパーネット上でトポロジー探索を実行する。
• 固定エッジ数の制約を排除することで、エッジ数の柔軟な変更を可能にし、最適なトポロジーの動的発見を可能にする。

実験結果

リサーチクエスチョン

• RQ1 DARTSにおける演算重みは、スタンドアロンモデルにおける異なるトポロジーの性能順位を正確に反映できるか？
• RQ2 トポロジー表現を演算重みから分離することで、より正確で信頼性の高いトポロジー選択が可能になるか？
• RQ3 エッジの組み合わせに基づくトポロジー探索空間は、直接的なエッジ重み付けと比較して、探索効率性と正確性を向上させられるか？
• RQ4 演算探索中にトポロジー関連の演算を保持することは、最終的なトポロジー品質にどのように影響するか？
• RQ5 既存の勾配ベースのNAS手法は、分離された演算とトポロジー探索フレームワークに効果的に統合可能か？

主な発見

• 同じ演算探索結果を用いた場合、CIFAR100における精度がDARTSから80.74%から83.07%へと2.33%向上した。
• 提案されたエッジの組み合わせ重み戦略は、CIFAR10でPC-DARTSを0.13%上回り、トポロジー探索の目的関数との整合性が優れていることを示した。
• 固定エッジ数の制約を排除することで、CIFAR100におけるDARTSの精度が83.72%から83.92%に向上し、柔軟性の利点を示した。
• グループ演算探索戦略により、DARTS-Top1と比較してCIFAR100の精度が0.65%向上し、トポロジー関連の演算を保持することが重要であることを確認した。
• DOTSはわずか0.26 GPU日でCIFAR10で97.51%のトップ-1精度を達成し、高い効率性を示した。
• 本手法は既存の勾配ベースのNAS手法と互換性があり、トポロジー探索を通じてさらなる性能向上が可能である。