[논문 리뷰] DARTS-: Robustly Stepping out of Performance Collapse Without Indicators

Xiangxiang Chu, Xiaoxing Wang외 4명|arXiv (Cornell University)|2020. 09. 02.

Software Engineering Research참고 문헌 47인용 수 30

한 줄 요약

DARTS-는 보조 스킵 연결을 도입하여 스킵-연결 이점을 후보 연산으로부터 분리하고, 붕괴 지표에 의존하지 않으면서 미분 가능한 아키텍처 탐색을 안정화하며 더 낮은 탐색 비용으로 최첨단 강건성을 달성한다.

ABSTRACT

Despite the fast development of differentiable architecture search (DARTS), it suffers from long-standing performance instability, which extremely limits its application. Existing robustifying methods draw clues from the resulting deteriorated behavior instead of finding out its causing factor. Various indicators such as Hessian eigenvalues are proposed as a signal to stop searching before the performance collapses. However, these indicator-based methods tend to easily reject good architectures if the thresholds are inappropriately set, let alone the searching is intrinsically noisy. In this paper, we undertake a more subtle and direct approach to resolve the collapse. We first demonstrate that skip connections have a clear advantage over other candidate operations, where it can easily recover from a disadvantageous state and become dominant. We conjecture that this privilege is causing degenerated performance. Therefore, we propose to factor out this benefit with an auxiliary skip connection, ensuring a fairer competition for all operations. We call this approach DARTS-. Extensive experiments on various datasets verify that it can substantially improve robustness. Our code is available at https://github.com/Meituan-AutoML/DARTS- .

연구 동기 및 목표

• 수제 지표에 의존하지 않고 미분 가능한 아키텍처 탐색(DARTS)의 성능 붕괴를 동기 부여하고 해결한다.
• 보조 스킵 연결을 활용한 프로세스 지향적이고 지표 없는 안정화 방법을 제안한다.
• 여러 탐색 공간 및 데이터셋에서 강건성과 효율성 향상을 입증한다.
• 기존 DARTS 변형 및 직교적 개선들과 DARTS-의 호환성을 보인다.

제안 방법

• 셀 내 모든 노드 쌍 사이에 보조 스킵 연결을 도입하여 안정화 역할과 후보 연산의 기여를 분리한다.
• 탐색 중에 감소하는 고정 보조 경로를 사용하고 후보 연산에 대해 별도의 정규화된 연산 가중치 α를 두어 보조 스킵을 아키텍처 파라미터로부터 상관관계에서 벗어나게 한다.
• 엣지 (i,j)에서의 모델 출력은 ϖ¯o^{(i,j)}(x)=\beta x+\u001b\u001e^{\u001b_o^{(i,j)}}/(sum over o in O) o(x), 감소 일정으로 \u001b를 0으로 줄여 최종 이산화가 표준 DARTS와 유사해진다.
• 섭동 기반 렌즈를 통해 수렴성과 강건성을 논의하고 보조 경로가 가중치 업데이트에 대한 스킵-연결 편향의 영향을 감소시킴을 보여준다.
• 탐색 에포크에 걸쳐 보조 스킵으로 셀을 쌓고 아키텍처 가중치와 가중치를 교대 단계로 업데이트하는 알고리즘(DARTS-)을 제시한다.

실험 결과

연구 질문

• RQ1 지표나 외부 하이퍼파라미터 조정 없이 DARTS의 성능 붕괴를 해결할 수 있는가?
• RQ2 보조 경로를 통해 스킵-연결 이점을 분리하는 것이 탐색 중 연산 간의 더 robust하고 공정한 경쟁을 유도하는가?
• RQ3 다른 DARTS 변형과의 호환성을 유지하면서 DARTS-가 강건성과 탐색 비용 감소를 달성할 수 있는가?
• RQ4 DARTS-를 적용한 후 지표 기반 붕괴 신호가 여전히 필요하거나 신뢰할 수 있는가?
• RQ5 다양한 탐색 공간과 데이터셋(CIFAR-10/100, ImageNet, NAS-Bench-201) 및 전이 task에서 DARTS-의 성능은 어떠한가?

주요 결과

• DARTS-는 7개 탐색 공간과 3개 데이터셳 전반에서 강건성을 크게 향상시킨다.
• DARTS-는 R-DARTS에 비해 약 3배의 탐색 비용 감소로 몇몇 공간에서 최첨단 성능을 달성한다.
• CIFAR-10에서 DARTS-은 평균 top-1 정확도 97.5%를 얻고 여러 실행에서 안정적인 결과를 보인다.
• CIFAR-10/100에서 DARTS-은 기준값보다 더 높은 강건성과 낮은 변동성으로 경쟁력 있는 모델을 찾는다.
• ImageNet에 대한 직접 결과는 DARTS- 파생 모델이 추가적인 태스크 특화 학습 없이 76.2% top-1을 달성하고, 증강 및 SE 모듈을 사용하면 최대 77.8%까지 달성함을 보여준다.
• NAS-Bench-201 평가에서 DARTS-가 다수의 실행에서 새로운 최첨단 성능을 제시한다.
• 이 방법은 P-DARTS 및 PC-DARTS와 결합되어 수작업 사전(prior)을 제거하고도 성능을 향상시킬 수 있으며(예: CIFAR-10에서 약 0.8% 포인트 증가).
• 소거 연구는 방법의 성능이 감소 전략 및 초기 β에 대해 강건하고 보조 경로가 안정성에 필수적임을 보여준다.