[논문 리뷰] Weight-Sharing Neural Architecture Search: A Battle to Shrink the Optimization Gap

Lingxi Xie, Xin Chen외 9명|arXiv (Cornell University)|2020. 08. 04.

Advanced Neural Network Applications참고 문헌 511인용 수 28

한 줄 요약

이 논문은 가중치 공유 신경망 아키텍처 탐색(NAS)에서 초망구조(super-network)는 최적화되지만 하위 아키텍처로의 일반화에 실패하는 최적화 갭에 대해 조사한다. 기존 방법들을 이 갭을 줄이기 위한 전략에 따라 분류하고, 통합된 프레임워크를 제안하며, 불안정성을 핵심 과제로 규명하고 향후 AutoML 연구를 위한 권고를 제시한다.

ABSTRACT

Neural architecture search (NAS) has attracted increasing attentions in both academia and industry. In the early age, researchers mostly applied individual search methods which sample and evaluate the candidate architectures separately and thus incur heavy computational overheads. To alleviate the burden, weight-sharing methods were proposed in which exponentially many architectures share weights in the same super-network, and the costly training procedure is performed only once. These methods, though being much faster, often suffer the issue of instability. This paper provides a literature review on NAS, in particular the weight-sharing methods, and points out that the major challenge comes from the optimization gap between the super-network and the sub-architectures. From this perspective, we summarize existing approaches into several categories according to their efforts in bridging the gap, and analyze both advantages and disadvantages of these methodologies. Finally, we share our opinions on the future directions of NAS and AutoML. Due to the expertise of the authors, this paper mainly focuses on the application of NAS to computer vision problems and may bias towards the work in our group.

연구 동기 및 목표

• 가중치 공유 NAS에서의 불안정성의 근본 원인, 특히 초망구조와 하위 아키텍처 사이의 최적화 갭을 규명하고 분석하는 것.
• 이 최적화 갭을 최소화하기 위한 접근 방식에 따라 기존 NAS 방법을 체계적으로 분류하는 것.
• 검색 전략과 평가 방법을 하나의 분석 프레임워크로 통합하여 가중치 공유 NAS에 대한 통합적 시각을 제공하는 것.
• 미해결 과제와 유망한 방향을 부각시켜 향후 NAS 및 AutoML 연구를 이끌어내는 것.
• 저자들의 전문성과 비전 중심의 NAS 발전에 초점을 맞춘 컴퓨터 비전 응용 분야에 국한된 것.

제안 방법

• 모든 후보 아키텍처가 공유하는 가중치를 가진 초망구조 내에서 최적의 하위 아키텍처를 찾는 문제로 NAS를 정식화하는 것.
• 최적화 갭을 줄이기 위한 전략에 따라 NAS 방법을 그룹화하는 통합 프레임워크를 제안하며, 검색 전략과 평가 간의 결합을 강조하는 것.
• 초망구조와 하위 아키텍처의 성능 간 격차를 메우는 데 초점을 맞춰 기존 접근 방식을 분석하는 것.
• 구조적 정규화, 동적 훈련, 기울기 기반 정밀 조정 등 최적화 갭을 다루는 방식에 따라 방법을 분류하는 것.
• 실험적 분석과 문헌 종합을 통해 다양한 기법이 NAS 훈련의 안정성 향상에 얼마나 효과적인지 비교하는 것.
• 초망구조의 최적화가 하위 아키텍처의 일반화와 일치해야만 신뢰할 수 있는 검색 결과를 확보할 수 있다는 개념적 모델을 도입하는 것.

실험 결과

연구 질문

• RQ1 가중치 공유 NAS에서의 불안정성의 원인은 무엇이며, 최적화 갭과 어떻게 관련되어 있는가?
• RQ2 다양한 NAS 방법들은 초망구조와 하위 아키텍처의 성능 간 격차를 어떻게 메우려 하는가?
• RQ3 최적화 갭을 최소화하기 위한 현재 전략들의 강점과 한계는 무엇인가?
• RQ4 검색 전략과 평가 간의 결합을 어떻게 활용하여 NAS의 신뢰성을 향상시킬 수 있는가?
• RQ5 이 분석을 바탕으로 NAS 및 AutoML의 주요 과제와 향후 방향은 무엇인가?

주요 결과

• 가중치 공유 NAS에서의 불안정성의 주요 원인은 최적화 갭이다. 즉, 잘 최적화된 초망구조가 높은 성능의 하위 아키텍처를 도출하지 못하는 데 기인한다.
• 최근의 NAS 방법들은 CIFAR-10에서 최소 0.1 GPU-일, ImageNet에서 최소 2.0 GPU-일로 검색 비용을 줄였지만, 불안정성은 여전히 주요 장애물이다.
• 초망구조의 훈련을 하위 아키텍처 성능과 명시적으로 정규화하거나 일치시키는 방법들은 안정성 향상과 검색 정확도 향상에 기여한다.
• 검색 전략과 평가 간의 결합은 핵심적이다. 이들을 분리하면 일반화 성능이 떨어지고 신뢰할 수 없는 아키텍처 발견이 발생한다.
• 기존 접근 방식들은 효과성 면에서 다양하며, 일부는 기울기 기반 검색을, 다른 일부는 강화 학습이나 밴딧 최적화를 사용하지만, 모두 핵심 갭 문제를 해결해야 한다.
• 논문은 향후 NAS 연구가 초망구조에서 하위 아키텍처로의 일반화를 우선시해야 하며, 더 나은 평가 지표와 아키텍처의 인덕티브 바이어스를 도입할 것을 주장한다.