[논문 리뷰] Understanding and Improving One-shot Neural Architecture Optimization.

Renqian Luo, Tao Qin외 1명|arXiv (Cornell University)|2019. 09. 24.

Advanced Neural Network Applications참고 문헌 28인용 수 14

한 줄 요약

이 논문은 NAO-V2를 제안하며, 한 번의 시도로 네트워크 아키텍처 검색을 수행하는 방법으로, 개별 아키텍처 업데이트 수를 늘리고, 모델 크기에 비례하여 아키텍처를 샘플링하며, 각 반복에서 슈퍼넷 학습을 분리함으로써 순위 안정성을 향상시킨다. 이는 모바일 설정에서 CIFAR-10에서 2.60%의 테스트 오차와 ImageNet에서 74.4%의 상위-1 정확도를 달성하여 최신 기술 수준의 성능을 확보한다.

ABSTRACT

The ability of accurately ranking candidate architectures is the key to the performance of neural architecture search~(NAS). One-shot NAS is proposed to cut the expense but shows inferior performance against conventional NAS and is not adequately stable. We find that the ranking correlation between architectures under one-shot training and the ones under stand-alone training is poor, which misleads the algorithm to discover better architectures. We conjecture that this is owing to the gaps between one-shot training and stand-alone complete training. In this work, we empirically investigate several main factors that lead to the gaps and so weak ranking correlation. We then propose NAO-V2 to alleviate such gaps where we: (1) Increase the average updates for individual architecture to a relatively adequate extent. (2) Encourage more updates for large and complex architectures than small and simple architectures to balance them by sampling architectures in proportion to their model sizes. (3) Make the one-shot training of the supernet independent at each iteration. Comprehensive experiments verify that our proposed method is effective and robust. It leads to a more stable search that all the top architectures perform well enough compared to baseline methods. The final discovered architecture shows significant improvements against baselines with a test error rate of 2.60% on CIFAR-10 and top-1 accuracy of 74.4% on ImageNet under the mobile setting. Code and model checkpoints are publicly available at https://github.com/renqianluo/NAO_pytorch.

연구 동기 및 목표

• 신경망 아키텍처 검색(NAS)에서 일회성 학습과 독립 학습 간의 낮은 순위 상관관계를 해결하기 위해.
• 일회성 학습과 전체 학습 방식 간의 성능 격차의 근본 원인을 조사하기 위해.
• 아키텍처 순위의 차이를 줄임으로써 일회성 NAS의 신뢰성과 안정성을 향상시키기 위해.
• 다양한 벤치마크에서 일관되게 높은 성능을 내는 아키텍처를 발견할 수 있는 방법을 개발하기 위해.
• 모바일 환경에서 CIFAR-10과 ImageNet에서 최신 기술 수준의 정확도를 달성하기 위해.

제안 방법

• 수렴성과 순위 정확도를 향상시키기 위해 개별 아키텍처의 평균 파라미터 업데이트 수를 더 적절한 수준으로 증가시키기 위해.
• 모델 크기에 비례하여 아키텍처를 샘플링함으로써 아키텍처 간 업데이트 빈도를 균형 잡히게 하여, 더 크고 복잡한 모델을 우선시하기 위해.
• 각 반복에서 슈퍼넷 학습 과정을 분리하여 기울기 간섭을 방지하고 학습의 독립성을 향상시키기 위해.
• 공유된 가중치로 모든 후보 아키텍처를 함께 학습하는 단일 슈퍼넷을 유지하면서도, 제어되고 균형 잡힌 스케줄로 업데이트하기 위해.
• 가중치 공유를 갖는 미분 가능 검색 공간을 사용하지만, 일회성 학습과 전체 학습 간의 분포 이탈을 줄이기 위해 학습 동역학을 수정하기 위해.
• 크기와 복잡도에 비례하여 충분한 학습 업데이트를 받을 수 있도록 샘플링 과정에서 재가중 전략을 적용하기 위해.

실험 결과

연구 질문

• RQ1 NAS에서 일회성 학습과 독립 학습 간의 낮은 순위 상관관계를 유발하는 요인는 무엇인가요?
• RQ2 학습 동역학과 업데이트 빈도의 차이가 아키텍처 순위 안정성에 어떻게 영향을 미치나요?
• RQ3 모델 크기에 비례하여 업데이트 빈도를 조정하면 아키텍처 성능 순위의 일관성이 향상될 수 있나요?
• RQ4 각 반복에서 슈퍼넷 학습을 분리하면 기울기 간섭이 감소하고 순위 정확도가 향상되나요?
• RQ5 일회성 NAS에서 향상된 학습 동역학이 전체 학습 성능을 따라잡거나 초월할 수 있는 정도는 어느 정도인가요?

주요 결과

• NAO-V2는 CIFAR-10에서 2.60%의 테스트 오차율을 기록하여 이전의 일회성 NAS 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 모바일 설정에서 ImageNet에서는 74.4%의 상위-1 정확도를 달성하여 강력한 일반화 능력과 효율성을 입증했다.
• 제안된 방법은 아키텍처 검색의 안정성을 높였으며, 모든 상위 아키텍처가 런에 걸쳐 일관되게 높은 성능를 보였다.
• 업데이트 빈도를 늘리고 모델 크기에 비례하여 샘플링하면 전체 학습과의 순위 상관관계가 크게 향상되었다.
• 각 반복에서 학습을 분리함으로써 기울기 갈등이 감소하고 아키텍처 성능 추정의 신뢰성이 향상되었다.
• 이 방법은 다양한 벤치마크와 설정에서 뛰어난 견고성을 보였으며, 재현 가능성을 위해 공개된 코드와 모델 체크포인트를 제공한다.