[논문 리뷰] DropNAS: Grouped Operation Dropout for Differentiable Architecture Search

Weijun Hong, Guilin Li외 5명|arXiv (Cornell University)|2022. 01. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 9인용 수 24

한 줄 요약

DropNAS는 differentiable NAS 프레임워크(DARTS)에서 grouped operation dropout를 도입하여 co-adaptation과 Matthew Effect를 완화하고 CIFAR-10/100에서 최첨단 결과를 달성하며 ImageNet 전이에서도 경쟁력을 보인다.

ABSTRACT

Neural architecture search (NAS) has shown encouraging results in automating the architecture design. Recently, DARTS relaxes the search process with a differentiable formulation that leverages weight-sharing and SGD where all candidate operations are trained simultaneously. Our empirical results show that such procedure results in the co-adaption problem and Matthew Effect: operations with fewer parameters would be trained maturely earlier. This causes two problems: firstly, the operations with more parameters may never have the chance to express the desired function since those with less have already done the job; secondly, the system will punish those underperforming operations by lowering their architecture parameter, and they will get smaller loss gradients, which causes the Matthew Effect. In this paper, we systematically study these problems and propose a novel grouped operation dropout algorithm named DropNAS to fix the problems with DARTS. Extensive experiments demonstrate that DropNAS solves the above issues and achieves promising performance. Specifically, DropNAS achieves 2.26% test error on CIFAR-10, 16.39% on CIFAR-100 and 23.4% on ImageNet (with the same training hyperparameters as DARTS for a fair comparison). It is also observed that DropNAS is robust across variants of the DARTS search space. Code is available at https://github.com/wiljohnhong/DropNAS.

연구 동기 및 목표

• 가중치 공유 differentiable NAS(DARTS)에서의 공적합 및 Matthew Effect 문제를 동기부여하고 진단한다.
• Group Operation Dropout(DropNAS)를 제안하여 학습 안정화 및 아키텍처 매개변수 학습을 향상시킨다.
• DropNAS가 기존의 differentiable NAS 방법을 하나의 프레임워크로 통합하고 CIFAR에서 최첨단 결과를, ImageNet으로의 전이에서 경쟁력을 보임을 보여준다.

제안 방법

• DARTS 슈퍼넷에서 후보 연산 간 특징 매핑을 시각화하여 공적합을 분석한다.
• 학습 가능한 그룹과 비학습 가능한 그룹으로 연산을 분할하고 탐색 중 임의로 일부를 드롭하며 제어된 드롭 경로 비율을 적용하는 Grouped Operation Dropout를 제안한다.
• 드롭된 연산에 대한 수동 업데이트를 방지하기 위한 Alpha-adjust 메커니즘을 도입한다.
• 탐색 중 유지된 연산에 한해 가중치 감소를 제한하기 위해 Partial-Decay를 적용한다.
• 원샷 모델을 한 단계 최적화로 학습하고 최종 에폭을 사용해 아키텍처를 선택하되 DARTS와 평가 예산을 일치시키는 방식으로 학습한다.

실험 결과

연구 질문

• RQ1 그룹화된 연산 드롭아웃이 DARTS와 같은 differentiable NAS 프레임워크에서 공적합 문제를 완화할 수 있는가?
• RQ2 CIFAR 및 ImageNet 규모 작업에서 안정성과 탐색 품질 사이의 최적 절충점을 제공하는 드롭 경로 비율 및 그룹화 전략은 무엇인가?
• RQ3 DropNAS로 찾은 아키텍처가 더 큰 데이터셋(ImageNet)으로의 전이 및 서로 다른 탐색 공간에서 잘 전이되는가?
• RQ4 제안된 조정(alpha-adjust, partial-decay)이 성능 및 안정성에 어떻게 기여하는가? 실험적으로 표준 DARTS, SNAS, ProxylessNAS와 비교하면 어떠한가?

주요 결과

• DropNAS는 CIFAR-10 및 CIFAR-100에서 한 단계 DARTS 및 관련 방법에 비해 DARTS-유사 성능을 크게 개선했다.
• 최적의 드롭 경로 비율(r = 3e-5)은 CIFAR-10 및 CIFAR-100에서 독립형 정확도와 안정적 슈퍼넷 학습을 지속적으로 우수하게 만들었다.
• 특징 클러스터링 분석은 DropNAS로 공적합 감소를 보여 주며, 매개변수화된 연산 그룹과 비매개변수 그룹 간의 동작이 더 유사하게 나타났다.
• DropNAS 아키텍처는 ImageNet으로 전이되며 상위 1위/상위 5위 결과를 유지하면서 탐색 비용도 합리적으로 유지된다.
• DropNAS는 DARTS 탐색 공간의 변형에 대해 견고하며 풀링 연산이나 연산 세트가 수정될 때도 성능을 유지한다.
• 차감 연구(ablations)에서 alpha-adjust, partial-decay, 그룹화 각각이 최종 성능 향상에 기여한다.