[논문 리뷰] Angle-based Search Space Shrinking for Neural Architecture Search

Yiming Hu, Yuding Liang외 6명|arXiv (Cornell University)|2020. 04. 28.

Advanced Neural Network Applications참고 문헌 36인용 수 16

한 줄 요약

이 논문은 신경망 아키텍처 탐색(NAS)을 향상시키기 위해 하위 최적의 연산을 점진적으로 제거하는 새로운 각도 기반 메트릭을 활용한 일반적이고 효율적인 방법인 각도 기반 탐색 공간 축소(ABS)를 제안한다. 이 메트릭은 모델 가중치와 초기 가중치 간의 각도에서 유도되며, 가중치 공유 슈퍼넷 내에서 자식 아키텍처를 더 빠르고 안정적으로 순위 매기는데 기여하여, 아키텍처 변경 없이 CIFAR-10 및 ImageNet에서 여러 NAS 방법에 대해 뚜렷한 정확도 향상을 이룬다.

ABSTRACT

In this work, we present a simple and general search space shrinking method, called Angle-Based search space Shrinking (ABS), for Neural Architecture Search (NAS). Our approach progressively simplifies the original search space by dropping unpromising candidates, thus can reduce difficulties for existing NAS methods to find superior architectures. In particular, we propose an angle-based metric to guide the shrinking process. We provide comprehensive evidences showing that, in weight-sharing supernet, the proposed metric is more stable and accurate than accuracy-based and magnitude-based metrics to predict the capability of child models. We also show that the angle-based metric can converge fast while training supernet, enabling us to get promising shrunk search spaces efficiently. ABS can easily apply to most of NAS approaches (e.g. SPOS, FairNAS, ProxylessNAS, DARTS and PDARTS). Comprehensive experiments show that ABS can dramatically enhance existing NAS approaches by providing a promising shrunk search space.

연구 동기 및 목표

• 큰 신경망 아키텍처 탐색 공간에서 높은 계산 비용과 최적화 난이도 문제를 해결하기 위해.
• 고성능 아키텍처에 집중하기 위해 탐색 공간을 동적으로 축소하여 기존 NAS 방법의 성능을 향상시키기 위해.
• 알고리즘 재구현이 필요 없이 다양한 NAS 알고리즘에 일반적이고 플러그인 호환되는 방법을 개발하기 위해.
• 정확도 기반 및 크기 기반 메트릭보다 안정성, 수렴 속도, 자식 모델 능력 예측 정확도 면에서 뛰어난 성능을 보이는 새로운 각도 기반 메트릭을 도입하고 검증하기 위해.

제안 방법

• 최종 모델 가중치 벡터와 초기 가중치 벡터 간의余弦 각도를 계산하는 각도 기반 메트릭을 제안하여 모델 능력을 평가한다.
• 이 메트릭을 사용해 슈퍼넷의 초기 학습 단계 동안 불량으로 평가된 연산을 순위 매기고 점진적으로 제거한다.
• 후보 연산에 대해 균일한 샘플링을 통해 슈퍼넷을 학습한 후, 각도 기반 메트릭을 적용해 순위가 낮은 연산자를 식별하고 제거한다.
• 탐색 공간이 충분히 축소될 때까지 다중 단계에 걸쳐 이 과정을 반복하며, 높은 품질의 아키텍처를 유지한다.
• 축소된 탐색 공간을 SPOS, FairNAS, ProxylessNAS, DARTS, PDARTS 등의 기존 NAS 프레임워크에 플러그인 방식으로 통합한다.
• 모든 NAS 방법에 동일한 학습 및 평가 프rotocol를 적용하여 공정한 비교와 일관된 성능 향상을 확보한다.

실험 결과

연구 질문

• RQ1 정확도 기반 또는 크기 기반 메트릭보다 더 안정적이고 효율적인 메트릭이 가중치 공유 NAS에서 효과적인 탐색 공간 축소를 이끌 수 있는가?
• RQ2 이러한 메트릭을 사용해 탐색 공간을 동적으로 축소하면 다양한 NAS 알고리즘 전반에서 일관된 성능 향상이 이루어지는가?
• RQ3 슈퍼넷 학습 중 각도 기반 메트릭이 얼마나 빠르고 신뢰성 있게 수렴하는가?
• RQ4 결과로 도출된 축소된 탐색 공간은 알고리즘 재학습 없이도 다양한 NAS 방법에 일반적으로 유용한가?
• RQ5 각도 기반 메트릭을 단독으로 직접 탐색할 때에 비해, 최종 모델 정확도는 얼마나 향상되는가?

주요 결과

• MobileNet 유사 탐색 공간에서 ABS는 SPOS를 0.64% 높은 정확도로 향상시켰으며, 각도 메트릭을 직접 사용했을 경우 0.19% 뿐 뿐이었다.
• CIFAR-10에서 ABS를 적용한 DARTS는 ImageNet에서 75.59%의 top-1 정확도를 기록했으며, 원본 DARTS(73.39%)보다 2.2% 향상되었고, 원문에서 보고된 결과보다도 0.71% 향상되었다.
• ABS를 적용한 PDARTS는 ImageNet에서 75.89%의 top-1 정확도를 기록했으며, 원본 PDARTS(75.02%)보다 0.87% 향상되었고, 보고된 결과보다 0.31% 향상되었다.
• 각도 기반 메트릭은 정확도 기반 및 크기 기반 메트릭보다 더 빠르게 수렴하여 조기 단계에서 효과적인 제거를 가능하게 한다.
• ABS가 생성한 축소된 탐색 공간은 일반적인 목적의 것으로 간주되며, 일회성 및 기울기 기반 방법을 포함한 다양한 NAS 알고리즘에서 성능 향상을 이룬다.
• FLOPs 제약 조건이 존재하더라도, ABS로 축소된 공간에서 탐색된 모델들은 원본 공간에서 탐색된 모델들보다 뛰어난 성능을 보이며, 이는 강건성과 확장성의 증거이다.