[논문 리뷰] Can weight sharing outperform random architecture search? An investigation with TuNAS

Gabriel Bender, Hanxiao Liu외 5명|arXiv (Cornell University)|2020. 08. 13.

Advanced Neural Network Applications참고 문헌 50인용 수 11

한 줄 요약

이 논문은 대규모이고 현실적인 이미지 분류 및 검출 작업에서 가중치 공유 신경망 아키텍처 탐색(NAS)이 무작위 탐색을 능가하는지 조사한다. TuNAS는 공격적인 가중치 공유를 통해 확장성 있고 조정이 쉬운 NAS 프레임워크로서, 저자들은 ImageNet과 COCO에서 효율적인 NAS가 무작위 탐색을 크게 능가함을 입증한다. 특히 탐색 공간이 커질수록 성능 향상이 두드러지며, 정확도 향상 최대 1.5%와 새로운 절댓값 보상 함수 및 오퍼레이션/필터 웜업 기법을 통해 하이퍼파rameter 조정이 감소한다.

ABSTRACT

Efficient Neural Architecture Search methods based on weight sharing have shown good promise in democratizing Neural Architecture Search for computer vision models. There is, however, an ongoing debate whether these efficient methods are significantly better than random search. Here we perform a thorough comparison between efficient and random search methods on a family of progressively larger and more challenging search spaces for image classification and detection on ImageNet and COCO. While the efficacies of both methods are problem-dependent, our experiments demonstrate that there are large, realistic tasks where efficient search methods can provide substantial gains over random search. In addition, we propose and evaluate techniques which improve the quality of searched architectures and reduce the need for manual hyper-parameter tuning. Source code and experiment data are available at https://github.com/google-research/google-research/tree/master/tunas

연구 동기 및 목표

• 대규모이고 현실적인 탐색 공간에서 이미지 분류 및 객체 검출을 위한 효율적인 NAS가 가중치 공유를 통해 무작위 탐색을 얼마나 뛰어나게 하는지 확인하는 것.
• 이전에는 효율적인 탐색이 어려운 것으로 간주되었던 점점 더 복잡해지는 탐색 공간에서 가중치 공유 NAS의 효과성을 평가하는 것.
• 정확한 지연 시간 제어를 가능하게 하는 보상 함수를 설계하여 수동 하이퍼파rameter 조정에 대한 의존도를 줄이는 것.
• 공유 모델 가중치의 훈련 안정성과 성능을 향상시키기 위한 새로운 훈련 기법(예: 오퍼레이션 및 필터 웜업)을 통해 탐색 품질을 향상시키는 것.
• 일관된 하나의 NAS 알고리즘이 다양한 아키텍처 탐색 공간과 작업(분류 및 검출)에 적용될 수 있음을 보여주는 것.

제안 방법

• 가중치 공유 기반의 확장성 있고 조정이 쉬운 NAS 프레임워크인 TuNAS를 제안하여 대규모이고 복잡한 탐색 공간에서의 효율적 탐색을 가능하게 한다.
• 후보 아키텍처 간에 공격적인 가중치 공유를 도입하여, 역전형 블록당 최대 252개의 옵션을 포함하는 탐색 공간을 탐색할 수 있도록 한다.
• 추론 지연 시간을 직접 제어할 수 있는 새로운 절댓값 보상 함수를 개발하여, 비용 지수에 대한 비용이 큰 그리드 서치가 필요 없도록 한다.
• 공유 모델 가중치의 훈련 안정성과 성능을 향상시키기 위해 오퍼레이션 및 필터 웜업 기법을 적용한다.
• 탐색된 아키텍처와 동일한 지연 시간 제약 조건에서 무작위 탐색 기반선을 평가하기 위해 거부 샘플링을 사용한다.
• 공유 슈퍼넷을 사용하여 강화 학습을 통해 고성능 아키텍처를 동시에 훈련하고 탐색한다.

실험 결과

연구 질문

• RQ1 ImageNet과 COCO의 대규모이고 현실적인 탐색 공간에서 가중치 공유 NAS가 무작위 탐색을 뚜렷이 능가하는가?
• RQ2 제안된 TuNAS 프레임워크가 점점 더 크고 복잡한 탐색 공간에서도 높은 성능을 유지할 수 있는가?
• RQ3 절댓값 보상 함수가 정확한 지연 시간 제어를 가능하게 하고 하이퍼파rameter 조정을 얼마나 줄이는가?
• RQ4 오퍼레이션 및 필터 웜업 기법이 얼마나 탐색된 아키텍처의 품질을 향상시키는가?
• RQ5 하나의 NAS 알고리즘이 주요 재구성 없이 다양한 탐색 공간과 작업(예: 이미지 분류 및 객체 검출)에 효과적으로 적용될 수 있는가?

주요 결과

• ImageNet의 ProxylessNAS 탐색 공간에서 TuNAS는 75.0% ± 0.1%의 테스트 정확도를 달성했으며, 유사한 지연 제약 조건 하에서 무작위 탐색은 단지 73.5% ± 0.2%에 그쳤다.
• 더 큰, 더 복잡한 탐색 공간(예: ProxylessNAS-Enlarged 및 MobileNetV3-Like)에서는 TuNAS와 무작위 탐색 간의 성능 격차가 커지며, TuNAS는 최대 1.5% 높은 정확도를 기록했다.
• 제안된 절댓값 보상 함수는 비용 지수에 대한 그리드 서치 없이도 정확한 지연 시간 제어(예: 84ms 목표)를 가능하게 하여, MnasNet-Soft 보상 대비 자원 소모를 7배 감소시켰다.
• 오퍼레이션 및 필터 웜업 기법은 탐색 품질을 향상시키며, ProxylessNAS-Enlarged 공간에서 성능 향상의 약 절반을 기여했으며, 테스트 정확도는 74.6%에서 75.3%로 상승했다.
• 공격적인 가중치 공유가 모델 품질을 떨어뜨리지 않으며, 블록당 252개의 옵션을 포함하는 매우 큰 탐색 공간을 탐색할 수 있었고, 최종 성능에 손실가지 않았다.
• 동일한 TuNAS 프레임워크는 이미지 분류 및 객체 검출 작업 모두에서 고성능 아키텍처를 성공적으로 탐색하여, 다양한 도메인 간 일반화 능력을 입증했다.