[논문 리뷰] DARTS+: Improved Differentiable Architecture Search with Early Stopping

Hanwen Liang, Shifeng Zhang외 5명|arXiv (Cornell University)|2019. 09. 13.

Advanced Neural Network Applications참고 문헌 52인용 수 261

한 줄 요약

DARTS+는 원샷 모델 과적합으로 인한 DARTS 붕괴를 방지하기 위한 적응형 조기 중지 기준을 도입하여 CIFAR, Tiny-ImageNet, ImageNet 전반에 걸쳐 최첨단 성능과 더 짧은 검색 시간을 달성합니다.

ABSTRACT

Recently, there has been a growing interest in automating the process of neural architecture design, and the Differentiable Architecture Search (DARTS) method makes the process available within a few GPU days. However, the performance of DARTS is often observed to collapse when the number of search epochs becomes large. Meanwhile, lots of "{\em skip-connect}s" are found in the selected architectures. In this paper, we claim that the cause of the collapse is that there exists overfitting in the optimization of DARTS. Therefore, we propose a simple and effective algorithm, named "DARTS+", to avoid the collapse and improve the original DARTS, by "early stopping" the search procedure when meeting a certain criterion. We also conduct comprehensive experiments on benchmark datasets and different search spaces and show the effectiveness of our DARTS+ algorithm, and DARTS+ achieves $2.32\%$ test error on CIFAR10, $14.87\%$ on CIFAR100, and $23.7\%$ on ImageNet. We further remark that the idea of "early stopping" is implicitly included in some existing DARTS variants by manually setting a small number of search epochs, while we give an {\em explicit} criterion for "early stopping".

연구 동기 및 목표

• 검색 에폭이 증가함에 따라 skip-connect가 급증하는 DARTS의 붕괴에 대한 동기 부여 및 진단.
• 붕괴를 방지하기 위한 간단한 중지 기준을 갖춘 조기 중지 전략(DARTS+)를 제안한다.
• CIFAR, Tiny-ImageNet, ImageNet 등을 포함한 여러 탐색 공간과 데이터셋에 걸쳐 DARTS+를 경험적으로 검증한다.
• 기준 DARTS 및 관련 방법들과 비교하여 테스트 성능이 향상되고 검색 시간이 감소함을 입증한다.

제안 방법

• DARTS에서의 붕괴 현상을 분석하고 원샷 모델의 과적합을 근본 원인으로 확인한다.
• 한 포화 지점에 도달하면 탐색을 중지하는 조기 중지 패러다임(DARTS+)을 도입한다.
• 두 가지 중지 기준을 제공한다: 기준 1은 일반 세포의 skip-connect 수를 기반으로, 기준 2는 여러 에포크에 걸친 학습 가능한 연산 매개변수의 순위 안정성을 기반으로 한다.
• 다중 탐색 공간(DARTS 공간, MobileNetV2, ResNet)과 데이터셋에 걸쳐 DARTS+를 DARTS 및 다른 NAS 방법들과 경험적으로 비교한다.
• 조기 중지는 더 적은 수의 skip-connect를 갖고 일반화가 개선된 아키텍처를 산출하며 검색 비용을 줄임을 입증한다.

실험 결과

연구 질문

• RQ1 검색 에폭이 증가할 때 DARTS의 붕괴가 무엇에 의해 발생하며, 이것이 원샷 모델의 과적합과 어떤 관련이 있는가?
• RQ2 명시적인 조기 중지 기준이 붕괴를 예방하면서 아키텍처 품질을 유지하거나 향상시킬 수 있는가?
• RQ3 다양한 탐색 공간과 데이터셋에서 DARTS+의 성능은 기본 DARTS 및 다른 NAS 방법들과 비교하여 어떤가?
• RQ4 조기 중지 적용 시 검색 비용과 최종 아키텍처 성능 간의 trade-off는 무엇인가?
• RQ5 조기에 중단된 아키텍처가 ImageNet과 같은 더 큰 데이터셋에 잘 일반화되는가?

주요 결과

• DARTS+는 CIFAR10에서 2.32%, CIFAR100에서 14.87%의 경쟁력 있거나 더 우수한 테스트 오차를 달성하고, 검색 시간은 현저히 감소하였다(예: CIFAR10에서 0.4 GPU일).
• 조기 중지는 skip-connect의 수를 억제하여 기본 DARTS에서 관찰된 붕괴를 예방한다.
• Tiny-ImageNet-200에서 DARTS+는 28.3%의 테스트 오차(Criterion 1)와 27.6%의 테스트 오차(Criterion 2)을 달성했다; ImageNet에서는 DARTS+로 직접 탐색 시 23.9%의 top-1 오차와 7.4%의 top-5 오차를 얻었고, CIFAR100에서 ImageNet으로의 전달은 23.7%/7.2%를 기록했다.
• 향상된 증강 및 더 큰 채널을 사용하는 CIFAR10/100의 DARTS+는 각각 1.68%와 13.03%의 테스트 오차를 달성한다(대형 변형).
• 조기 중지 기준은 간단하고 효과적이며 다른 NAS 트릭과 직교하며 검색 비용을 감소시키고 과적합을 피한다.
• DARTS+는 강한 전이 가능성을 보이며 여러 벤치마크에서 최첨단 결과에 상응하거나 이를 능가한다.