[논문 리뷰] Fair DARTS: Eliminating Unfair Advantages in Differentiable Architecture Search

Xiangxiang Chu, Tianbao Zhou외 2명|arXiv (Cornell University)|2019. 11. 27.

Advanced Neural Network Applications참고 문헌 38인용 수 30

한 줄 요약

이 논문은 DARTS에서 성능 붕괴를 해결하기 위해 운영 간 배타적 경쟁을 제거하고 독립적인 아키텍처 가중치를 통해 상호보완적 경쟁을 도입한 새로운 미분 가능 아키텍처 탐색 방법 Fair DARTS를 제안한다. 이는 이산화 오차를 최소화하기 위해 0-1 손실을 도입하여 CIFAR-10(97.4%) 및 ImageNet(75.6% top-1)에서 최신 기준 성능을 달성한다.

ABSTRACT

Differentiable Architecture Search (DARTS) is now a widely disseminated weight-sharing neural architecture search method. However, it suffers from well-known performance collapse due to an inevitable aggregation of skip connections. In this paper, we first disclose that its root cause lies in an unfair advantage in exclusive competition. Through experiments, we show that if either of two conditions is broken, the collapse disappears. Thereby, we present a novel approach called Fair DARTS where the exclusive competition is relaxed to be collaborative. Specifically, we let each operation's architectural weight be independent of others. Yet there is still an important issue of discretization discrepancy. We then propose a zero-one loss to push architectural weights towards zero or one, which approximates an expected multi-hot solution. Our experiments are performed on two mainstream search spaces, and we derive new state-of-the-art results on CIFAR-10 and ImageNet. Our code is available on https://github.com/xiaomi-automl/fairdarts .

연구 동기 및 목표

• DARTS에서 성능 붕괴의 근본 원인을 특정하고 해결하기 위해, 운영 간 배타적 경쟁으로 인한 부당한 이점이 원인임을 규명한다.
• 이러한 부당한 이점으로 인해 스킵 연결이 아키텍처를 지배하게 되는 경향을 제거한다.
• 검색 공간 내 연속적 아키텍처 가중치와 이의 이산적 대응 간 이산화 오차를 줄인다.
• 스킵 연결 집합에 초점을 맞춘 기존 DARTS 변종을 통합적으로 설명하고 향상시키는 프레임워크를 제안한다.
• 강건하고 확장 가능한 아키텍처 탐색 방법을 통해 CIFAR-10과 ImageNet에서 최신 기준 성능을 달성한다.

제안 방법

• 각 운영의 아키텍처 가중치가 상호 간에 독립적이게 함으로써 DARTS의 배타적 경쟁을 상호보완적 경쟁으로 대체한다.
• 연속적 및 이산적 아키텍처 표현 간 오차를 최소화하기 위해 0-1 손실을 도입한다.
• DARTS에서 사용하는 소프트맥스 대신 Fair DARTS에서 아키텍처 가중치에 시그모이드 활성화 함수를 적용하여 독립적 최적화를 가능하게 한다.
• 학습 중 보조 손실로 0-1 손실을 적용하여 아키텍처 가중치가 극단적 값(0 또는 1)으로 수렴하도록 유도함으로써 다중-핫 인코딩을 근사한다.
• 성능 붕괴를 방지하기 위해 최적화 동역학을 수정하면서도, 미분 가능 아키텍처 탐색의 개념을 유지한다.
• 두 가지 주요 검색 공간(S1 및 S2)에서 프oxy 및 프록시리스 설정 모두에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 스킵 연결 집합과 관련하여 DARTS에서 성능 붕괴가 발생하는 원인은 무엇인가?
• RQ2 운영 간 경쟁 메커니즘을 수정함으로써 성능 붕괴를 제거할 수 있는가?
• RQ3 독립적인 아키텍처 가중치 최적화가 검색된 아키텍처의 강건성과 정확도에 어떤 영향을 미치는가?
• RQ4 0-1 손실이 미분 가능 아키텍처 탐색에서 이산화 오차를 어느 정도 줄이는가?
• RQ5 제안된 방법이 CIFAR-10 및 ImageNet과 같은 표준 벤치마크에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• DARTS에서의 성능 붕괴는 스킵 연결이 그 구조적 이점 덕분에 배타적 경쟁에서 유리한 위치를 점유함으로써 발생한다.
• 배타적 경쟁 또는 스킵 연결의 지배를 각각 끊어내면 성능 붕괴가 사라지며, 이는 이 두 요소가 이중적인 역할을 한다는 것을 확인한다.
• Fair DARTS는 CIFAR-10에서 97.4%의 top-1 정확도를 달성하여 이전 최신 기준 성능을 초월한다.
• ImageNet에서는 Fair DARTS가 DARTS(66.4%) 및 기타 변종보다 유의미하게 뛰어난 75.6%의 top-1 정확도를 기록한다.
• DARTS가 과도하게 스킵 연결이 많은 얕은 모델로 붕괴하는 것과는 달리, Fair DARTS는 더 깊고 다양한 아키텍처를 생성한다.
• 0-1 손실은 이산화 오차를 효과적으로 줄여 더 일관되고 정확한 아키텍처 이산화를 이끌어낸다.