[논문 리뷰] Contrastive Neural Architecture Search with Neural Architecture Comparators

Yaofo Chen, Yong Guo외 5명|arXiv (Cornell University)|2021. 03. 08.

Adversarial Robustness in Machine Learning참고 문헌 57인용 수 5

한 줄 요약

이 논문은 절대적 성능 추정에 의존하는 대신 후보 아키텍처와 베이스라인 아키텍처 간의 쌍별 비교를 학습 신호로 사용함으로써 신경망 아키텍처 탐색(NAS)을 향상시키는 대비 신경망 아키텍처 탐색(CTNAS)을 제안한다. 신경망 아키텍처 비교기(NAC)를 도입하여 어느 아키텍처가 더 나은지 예측하고, 커리큘럼 학습 기반의 베이스라인 업데이트 전략과 데이터 탐색 기법을 통해 레이블된 데이터 의존도를 감소시킨다. CTNAS는 NAS-Bench-101에서 93.92%의 SOTA 정확도를 달성하며, 100개 아키텍처당 4.1ms의 매우 빠른 평가 속도를 보이며, ReNAS 및 ENAS와 같은 기존 방법들을 능가한다.

ABSTRACT

One of the key steps in Neural Architecture Search (NAS) is to estimate the performance of candidate architectures. Existing methods either directly use the validation performance or learn a predictor to estimate the performance. However, these methods can be either computationally expensive or very inaccurate, which may severely affect the search efficiency and performance. Moreover, as it is very difficult to annotate architectures with accurate performance on specific tasks, learning a promising performance predictor is often non-trivial due to the lack of labeled data. In this paper, we argue that it may not be necessary to estimate the absolute performance for NAS. On the contrary, we may need only to understand whether an architecture is better than a baseline one. However, how to exploit this comparison information as the reward and how to well use the limited labeled data remains two great challenges. In this paper, we propose a novel Contrastive Neural Architecture Search (CTNAS) method which performs architecture search by taking the comparison results between architectures as the reward. Specifically, we design and learn a Neural Architecture Comparator (NAC) to compute the probability of candidate architectures being better than a baseline one. Moreover, we present a baseline updating scheme to improve the baseline iteratively in a curriculum learning manner. More critically, we theoretically show that learning NAC is equivalent to optimizing the ranking over architectures. Extensive experiments in three search spaces demonstrate the superiority of our CTNAS over existing methods.

연구 동기 및 목표

• 절대적 성능 추정의 불안정성과 높은 비용으로 인해 자주 발생하는 낮은 탐색 효율성과 성능 문제를 해결하기 위해.
• 실제로 확보하기 어려운 대량의 레이블된 성능 데이터에 대한 의존도를 줄이기 위해.
• 주로 '이 아키텍처가 베이스라인보다 나은가?'와 같은 상대적 비교를 학습 신호로 사용하여 탐색의 안정성과 성능을 향상시키기 위해.
• 제한된 레이블된 데이터와 능동적 데이터 탐색을 통해 새로운 아키텍처로의 일반화 능력이 뛰어난 방법을 개발하기 위해.

제안 방법

• 두 아키텍처를 입력으로 받아 첫 번째 아키텍처가 두 번째보다 나을 확률을 출력하는 딥러닝 모델인 신경망 아키텍처 비교기(NAC)를 제안한다.
• 강화학습 기반 NAS에서 절대적 성능 추정 대신 쌍별 비교 결과를 보상 신호로 사용한다.
• 반복적으로 베이스라인 아키텍처를 향상시켜 도전적이지만 공정한 비교 대상을 유지하는 커리큘럼 학습 기반의 베이스라인 업데이트 방식을 도입한다.
• NAC가 레이블이 없는 아키텍처에 대해 예측한 레이블을 사용하여 레이블이 없는 아키텍처의 데이터를 탐색함으로써, 최소한의 레이블된 데이터로도 일반화 성능을 향상시키는 데이터 탐색 전략을 활용한다.
• 아키텍처 간 순위를 최적화하는 데 이론적으로 유리한 대비 학습 목표를 설계하여 NAC가 의미 있는 비교를 학습하도록 보장한다.
• 검증 데이터에 대한 순방향 전파를 피함으로써 평가 비용을 감소시킨다. NAC는 저차원 입력과 얕은 3층 네트워크를 사용하여 아키텍처 그래프에 직접 작동한다.

실험 결과

연구 질문

• RQ1 절대적 성능 추정에 비해 쌍별 아키텍처 비교가 NAS에 더 안정적이고 효율적인 신호를 제공할 수 있는가?
• RQ2 제한된 레이블된 성능 데이터로 신경 비교기(NAC)를 효과적으로 훈련시킬 수 있는가?
• RQ3 커리큘럼 학습을 통해 베이스라인 아키텍처를 반복적으로 향상시키는 것이 탐색의 안정성과 성능을 향상시키는가?
• RQ4 레이블이 없는 아키텍처에 대해 NAC가 예측한 레이블을 사용한 데이터 탐색이 일반화 성능 향상과 레이블된 데이터 의존도 감소에 기여하는가?
• RQ5 제안된 방법은 최신 기술(SOTA) NAS 방법들과 비교해 정확도와 효율성 면에서 어떻게 성과를 내는가?

주요 결과

• CTNAS는 NAS-Bench-101 탐색 공간에서 93.92%의 정확도를 달성하여 ReNAS 및 ENAS와 같은 기존 방법들을 능가한다.
• 100개 아키텍처를 평가하는 데 단 4.1ms가 소요되어 ReNAS(85.6ms) 및 ENAS(2.7s)보다 훨씬 빠르다.
• 커리큘럼 학습 기반의 베이스라인 업데이트 방식은 고정된 베이스라인 대비 0.53% 향상되고 무작위 업데이트 대비 0.39% 향상된 성능을 보였다.
• r=0.5(50% 예측 레이블)의 데이터 탐색 비율에서 최고의 성능(93.92% 정확도)을 기록했으며, 이보다 낮거나 높은 비율은 성능 저하를 초래했다.
• 423개의 레이블된 샘플에서 성능가 평형에 도달하여, 제한된 레이블된 데이터셋으로도 높은 데이터 효율성과 일반화 능력을 보였다.
• 이론적 분석을 통해 NAC 훈련이 아키텍처 순위 최적화와 동일시되며, 비교 기반 학습의 타당성을 뒷받침한다.