[논문 리뷰] Bag of Tricks for Neural Architecture Search

Thomas Elsken, Benedikt Staffler외 3명|arXiv (Cornell University)|2021. 07. 08.

Advanced Neural Network Applications참고 문헌 57인용 수 4

한 줄 요약

이 논문은 신경망 아키텍처 탐색(NAS) 방법의 안정성, 효율성 및 최종 성능을 향상시키기 위해 무게 온도 조절, 정규화 레이어 조정, 정규화 기법, 프록시 학습 등 실용적인 기법들을 종합적으로 제시한다. 저자는 이러한 '노하우 모음'이 검색 신뢰도와 정확도를 크게 향상시키며, 종종 무작위 탐색을 능가하고 하이퍼파rameter에 대한 민감도를 감소시킨다는 것을 입증한다.

ABSTRACT

While neural architecture search methods have been successful in previous years and led to new state-of-the-art performance on various problems, they have also been criticized for being unstable, being highly sensitive with respect to their hyperparameters, and often not performing better than random search. To shed some light on this issue, we discuss some practical considerations that help improve the stability, efficiency and overall performance.

연구 동기 및 목표

• 신경망 아키텍처 탐색(NAS) 방법에서 흔히 보고되는 불안정성과 하이퍼파ram터 민감도 문제를 해결하기 위해.
• 일반적으로 사용되지만 자주 숨겨져 있는 실용적 기법들을 식별하고 공유함으로써 NAS의 신뢰성과 재현 가능성을 향상시키기 위해.
• 프록시 작업과 실제 평가 간의 성능 격차를 줄이기 위해 아키텍처 선택 및 학습 파이프라인 최적화를 통해 상관관계를 향상시키기 위해.
• 학습 파이프라인 선택(예: 데이터 증강, 정규화 기법)이 아키텍처 설계 자체보다도 최종 정확도에 더 큰 영향을 미칠 수 있음을 입증하기 위해.

제안 방법

• 아키텍처 파라미터 업데이트를 시작하기 전에 네트워크 무게를 탐색 기간의 상당 부분 동안 학습시켜 무게 온도 조절을 구현함으로써, 조기 수렴을 방지하고 검색 안정성을 향상시킴.
• 아키텍처 탐색 중 정규화 레이어(예: 배치 정규화)의 학습 가능한 파라미터를 비활성화하여 아키텍처 무게 업데이트의 불안정성을 방지함.
• 손실 곡면을 매끄럽게 하고 검색 안정성을 향상시키기 위해 드롭패스, 가중치 감쇠, 데이터 증강과 같은 강력한 정규화 기법을 적용함.
• 전체 정확도 성능과 상관관계를 유지하면서도 NAS 속도를 높이기 위해 낮은 정밀도의 프록시 작업(예: 더 작은 데이터셋, 적은 에포크 수, 감소된 모델 깊이)을 사용함.
• 다중 구성 요소 아키텍처(예: 세그먼테이션, 객체 검출)에서 고정된 백본으로부터 특징을 캐시하여 검색 중 평가 속도를 향상시킴.
• 단순히 최대 무게를 가진 연산을 선택하는 것이 아니라, 연산 제거 시 정확도 손실를 최소화하는 성능 인식 기반 방법을 사용하여 연속적 리미티드에서 최종 이산 아키텍처를 추출함.

실험 결과

연구 질문

• RQ1 기울기 기반 NAS 방법의 실용적 불안정성과 하이퍼파ram터 민감도는 어떻게 완화할 수 있는가?
• RQ2 정규화 및 정규화 기법이 아키텍처 탐색의 신뢰성에 얼마나 큰 영향을 미치는가?
• RQ3 프록시 학습 작업과 전체 정확도 평가 간에 검색된 아키텍처의 순위 일관성 측면에서 어떤 차이가 있는가?
• RQ4 학습 파이프라인 요소들(예: 데이터 증강, 학습률 스케줄링)이 아키텍처 선택에 비해 최종 모델 성능에 미치는 영향은 어떠한가?
• RQ5 재학습된 무게 또는 서브원샷 모델을 사용해 후보 아키텍처를 재평가함으로써 아키텍처 성능을 향상시킬 수 있는가?

주요 결과

• 무게 온도 조절은 아키텍처가 더 빨리 학습되는 경우(예: 많은 스킵 연결이 있는 경우)가 검색에서 지배적이 되는 것을 방지함으로써 검색 안정성을 크게 향상시킴.
• 배치 정규화는 일반적으로 NAS에서 해로울 수 있으며, 안정성을 향상시키기 위해 비활성화하거나 동기화 정규화 또는 그룹 정규화와 같은 대체 기법으로 교체해야 함.
• 드롭패스 및 데이터 증강과 같은 강력한 정규화 기법은 손실 곡면을 매끄럽게 하고 검색 수렴 및 성능을 향상시킴.
• 학습 파이프라인(예: 데이터 증강, 학습률 스케줄링)은 아키텍처 설계 자체보다도 최종 정확도에 더 큰 영향을 미칠 수 있으며, 파이프라인이 일치하지 않을 경우 ImageNet에서 성능 차이가 최대 3.2%까지 발생함.
• 동일한 최첨단 파이프라인을 사용해 훈련한 경우, MobileNetV3의 MobileNetV2 대비 정확도 향상은 3.2%에서 2.0%로 감소함으로써 공정한 비교의 중요성을 드러냄.
• 공동 적응 문제를 완화하기 위해 서브원샷 모델을 사용하면, 원샷 모델 순위와 최종 재학습된 아키텍처 성능 간의 상관관계가 향상됨.