[論文レビュー] Fair DARTS: Eliminating Unfair Advantages in Differentiable Architecture Search

Xiangxiang Chu, Tianbao Zhou+2 more|arXiv (Cornell University)|Nov 27, 2019

Advanced Neural Network Applications参考文献 38被引用数 30

ひとこと要約

本稿では、操作間の排他的な競合を独立したアーキテクチャ重みを用いた協調的競合に置き換えることで、DARTSにおけるパフォーマンス崩壊を解消する新しい微分可能アーキテクチャ探索手法であるFair DARTSを提案する。ゼロ・オール・ロスを導入することで離散化誤差を最小化し、CIFAR-10（97.4%）およびImageNet（75.6% top-1）で最先端の精度を達成した。

ABSTRACT

Differentiable Architecture Search (DARTS) is now a widely disseminated weight-sharing neural architecture search method. However, it suffers from well-known performance collapse due to an inevitable aggregation of skip connections. In this paper, we first disclose that its root cause lies in an unfair advantage in exclusive competition. Through experiments, we show that if either of two conditions is broken, the collapse disappears. Thereby, we present a novel approach called Fair DARTS where the exclusive competition is relaxed to be collaborative. Specifically, we let each operation's architectural weight be independent of others. Yet there is still an important issue of discretization discrepancy. We then propose a zero-one loss to push architectural weights towards zero or one, which approximates an expected multi-hot solution. Our experiments are performed on two mainstream search spaces, and we derive new state-of-the-art results on CIFAR-10 and ImageNet. Our code is available on https://github.com/xiaomi-automl/fairdarts .

研究の動機と目的

• DARTSにおけるパフォーマンス崩壊の根本原因を特定・解消すること。その原因は、操作間の排他的な競合に起因する不平等な優位性である。
• この不平等な優位性が原因でスキップ接続がアーキテクチャを独占する傾向を解消すること。
• 探索空間における連続的アーキテクチャ重みとその離散的同等物との間の離散化誤差を低減すること。
• スキップ接続集約を対象とした既存のDARTS変種を統一的に説明・改善するフレームワークを提案すること。
• ロバストでスケーラブルなアーキテクチャ探索手法として、CIFAR-10およびImageNetで最先端のパフォーマンスを達成すること。

提案手法

• DARTSにおける排他的な競合を、各操作のアーキテクチャ重みを他のものと独立させることで協調的競合に置き換える。
• 連続的重みと離散的重みの間の乖離を最小化するために、ゼロ・オール・ロスを導入する。
• Fair DARTSでは、DARTSで用いられるソフトマックスの代わりにシグモイド活性化関数をアーキテクチャ重みに適用し、独立した最適化を可能にする。
• 訓練中に補助損失としてゼロ・オール・ロスを適用し、アーキテクチャ重みが極値（0または1）に収束するように促進し、マルチホット符号化に近づける。
• パフォーマンス崩壊を防ぐために最適化ダイナミクスを変更しつつ、微分可能アーキテクチャ探索の枠組みを維持する。
• 2つの主流の探索空間（S1およびS2）において、プロキシおよびプロキシレスな設定の両方で手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 DARTSにおけるパフォーマンス崩壊の原因は何か。特にスキーップ接続集約とどのように関係しているか。
• RQ2 操作間の競合メカニズムを変更することで、パフォーマンス崩壊を解消できるか。
• RQ3 独立したアーキテクチャ重み最適化が、探索されたアーキテクチャのロバスト性および精度に与える影響は何か。
• RQ4 ゼロ・オール・ロスは、微分可能アーキテクチャ探索において離散化誤差をどの程度低減できるか。
• RQ5 提案手法は、CIFAR-10やImageNetといった標準ベンチマークで最先端のパフォーマンスを達成できるか。

主な発見

• DARTSにおけるパフォーマンス崩壊は、スキーップ接続が構造的優位性を持つ排他的な競合に起因する不平等な優位性に起因する。
• 排他的な競合を解体するか、スキーップ接続の優位性を排除するかのいずれかを個別に実施しても、パフォーマンス崩壊が解消されることから、これらの要因が二重に寄与していることが確認された。
• Fair DARTSはCIFAR-10で97.4%のtop-1精度を達成し、以前の最先端結果を上回った。
• ImageNetでは75.6%のtop-1精度を達成し、DARTS（66.4%）および他の変種を著しく上回った。
• DARTSとは異なり、Fair DARTSはより深く多様性のあるアーキテクチャを生成した。DARTSは浅いモデルに収束し、過剰なスキーップ接続を含む傾向がある。
• ゼロ・オール・ロスは離散化誤差を効果的に低減し、より一貫性があり正確なアーキテクチャの離散化を実現した。