[논문 리뷰] Rethinking Performance Estimation in Neural Architecture Search

Xiawu Zheng, Rongrong Ji외 5명|arXiv (Cornell University)|2020. 05. 20.

Advanced Neural Network Applications참고 문헌 49인용 수 4

한 줄 요약

이 논문은 성능 평가에서 가장 영향력 있는 초기화 매개변수를 체계적으로 식별하고 우선순위를 정함으로써 신경망 아키텍처 탐색(NAS)을 가속화하기 위해 예산 기반 성능 평가(BPE)와 최소 중요도 프루닝(MIP)을 제안한다. 랜덤 포레스트를 사용해 초기화 매개변수의 중요도를 순위 매기고, 가장 중요도가 낮은 매개변수를 반복적으로 제거함으로써 MIP는 정확도 저하를 거의 유발하지 않으면서도 NAS에서 최대 1,000배의 속도 향상을 달성한다. 이는 강화학습, 진화, 무작위 탐색, 미분 가능 NAS 방법 등 다양한 방법에서 효율적인 탐색을 가능하게 한다.

ABSTRACT

Neural architecture search (NAS) remains a challenging problem, which is attributed to the indispensable and time-consuming component of performance estimation (PE). In this paper, we provide a novel yet systematic rethinking of PE in a resource constrained regime, termed budgeted PE (BPE), which precisely and effectively estimates the performance of an architecture sampled from an architecture space. Since searching an optimal BPE is extremely time-consuming as it requires to train a large number of networks for evaluation, we propose a Minimum Importance Pruning (MIP) approach. Given a dataset and a BPE search space, MIP estimates the importance of hyper-parameters using random forest and subsequently prunes the minimum one from the next iteration. In this way, MIP effectively prunes less important hyper-parameters to allocate more computational resource on more important ones, thus achieving an effective exploration. By combining BPE with various search algorithms including reinforcement learning, evolution algorithm, random search, and differentiable architecture search, we achieve 1, 000x of NAS speed up with a negligible performance drop comparing to the SOTA

연구 동기 및 목표

• 자원 제약 하에서 성능 평가(PE)에 소요되는 시간이 큰 장애물이 되는 문제를 해결하기 위해.
• 성능 평가에서 가장 영향력 있는 초기화 매개변수를 체계적으로 식별하여 효율적이고 정확한 아키텍처 탐색을 가능하게 하는 프레임워크를 개발하기 위해.
• 가장 영향력 있는 초기화 매개변수에 자원을 집중시음으로써 NAS의 계산 비용을 줄이고 탐색 품질을 손상시키지 않기 위해.
• 강화학습, 진화, 무작위 탐색, 미분 가능 NAS를 포함한 다양한 탐색 전략과 호환되는 통합적이고 일반화 가능한 솔루션을 제공하기 위해.

제안 방법

• 학습 속도, 배치 크기, 에포크 수, 이미지 크기 등의 학습 초기화 매개변수를 제어할 수 있는 체계적 프레임워크인 예산 기반 성능 평가(BPE)를 제안하여 상대적인 아키텍처 성능을 효율적으로 추정한다.
• 랜덤 포레스트 회귀를 사용해 샘플링된 구성에 대한 성능 평가 기반으로 각 초기화 매개변수의 중요도를 추정하는 최소 중요도 프루닝(MIP)을 도입한다.
• 각 반복에서 중요도가 가장 낮은 초기화 매개변수를 프루닝하여 탐색 공간을 축소하고 더 영향력 있는 매개변수에 자원을 재할당한다.
• MIP 과정은 BPE 내의 초기화 매개변수 수를 반복적으로 줄이며, 가장 영향력 있는 매개변수에 집중함으로써 추정 효율성을 향상시킨다.
• 샘플링된 구성과 그 성능 데이터셋을 기반으로 랜덤 포레스트 예측기 학습을 통해 최적화된 BPE 하에서 아키텍처의 상대 순위를 예측한다.
• 학습된 MIP-BPE를 강화학습, 진화, 무작위 탐색, DARTS 등 다양한 NAS 알고리즘에 적용하여 일관된 속도 향상을 달성한다.

실험 결과

연구 질문

• RQ1 엄격한 계산 예산 하에서 NAS의 성능 평가를 어떻게 체계적으로 최적화할 수 있는가?
• RQ2 성능 평가 과정에서 신경망 아키텍처의 상대 순위에 가장 크게 영향을 주는 학습 초기화 매개변수는 무엇인가?
• RQ3 초기화 매개변수 중요도 기반의 동적 프루닝 전략이 최종 모델 정확도를 떨어뜨리지 않으면서도 NAS의 효율성을 향상시킬 수 있는가?
• RQ4 DARTS와 같은 온세트 NAS 방법은 전반적인 성능 평가가 열악한데도 불구하고 랜덤 시드에 따라 높은 불안정성을 보이는 이유는 무엇인가?
• RQ5 학습된 BPE 구성이 다양한 탐색 알고리즘과 데이터셋 간에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 MIP-BPE 프레임워크는 강화학습, 진화, 무작위 탐색, 미분 가능 탐색 등 다양한 알고리즘에서 최대 1,000배의 속도 향상을 달성하며, 정확도 저하가 거의 없음을 확인하였다.
• 상대적 성능 순위(rs)와 제안된 목적 함수 간의 상관관계가 0.65에 도달하여 MIP-BPE가 정확한 상대적 아키텍처 순위를 유지하는 데 효과적임을 확인하였다.
• 가장 중요한 두 초기화 매개변수인 학습 에포크 수와 레이어 수가 높은 중요도와 급격한 성능 곡선을 보이며, 이들 매개변수를 작은 범위에서 정밀하게 튜닝하는 것으로도 새로운 데이터셋으로의 전이가 충분히 가능함을 시사하였다.
• 온세트 방법인 DARTS는 전반적인 성능 평가가 열악하나(낮은 전반적 rs), 국소적 rs는 높아, 전반적인 정확도 예측이 아닌 국소 최적화 동역학에 의존함을 나타내었다.
• 연구 결과, 성능 평가 순위가 미세한 학습 조건 변화에 매우 민감하게 변할 수 있음을 밝혀내었으며, 이는 기존 프록시 지표의 불안정성과 강력한 BPE의 필요성을 강조한다.
• 프레임워크는 잘 일반화됨: 한 데이터셋에서 학습된 BPE는 재학습을 최소로 하여 다른 데이터셋으로 효과적으로 전이 가능하며, 특히 에포크 수와 레이어 수에 집중할 경우 더욱 뛰어난 성능을 보였다.