[논문 리뷰] PASHA: Efficient HPO and NAS with Progressive Resource Allocation

Ondrej Bohdal, Lukas Balles외 4명|arXiv (Cornell University)|2022. 07. 14.

Machine Learning and Data Classification인용 수 4

한 줄 요약

PASHA는 효율적인 하이퍼파ram터 최적화(HPO) 및 신경망 아키텍처 탐색(NAS)을 위한 점진적 자원 할당 방법으로, 튜닝 중 최대 자원을 동적으로 증가시켜 계산 비용을 줄이면서도 모델 성능을 유지한다. 대규모 데이터셋인 WMT에서 ASHA 대비 최대 15.5배의 속도 향상을 이뤄내며 정확도를 희생시키지 않으며, 고정 예산 방법과 일epoch 기반 방법보다 강건성과 효율성에서 뛰어나다.

ABSTRACT

Hyperparameter optimization (HPO) and neural architecture search (NAS) are methods of choice to obtain the best-in-class machine learning models, but in practice they can be costly to run. When models are trained on large datasets, tuning them with HPO or NAS rapidly becomes prohibitively expensive for practitioners, even when efficient multi-fidelity methods are employed. We propose an approach to tackle the challenge of tuning machine learning models trained on large datasets with limited computational resources. Our approach, named PASHA, extends ASHA and is able to dynamically allocate maximum resources for the tuning procedure depending on the need. The experimental comparison shows that PASHA identifies well-performing hyperparameter configurations and architectures while consuming significantly fewer computational resources than ASHA.

연구 동기 및 목표

• 대규모 데이터셋에서 자원이 제한된 조건에서 HPO 및 NAS의 높은 계산 비용을 해결하기 위해.
• 최대 자원을 고정하는 기존의 다중 신뢰도 방법들인 ASHA와 비교해, 초기 성능 신호를 효율적으로 활용하지 못할 수 있는 문제를 개선하기 위해.
• 관측된 성능에 기반해 자원을 동적으로 할당하여 낭비되는 계산을 줄이기 위해.
• 제한된 계산 예산을 가진 실무자들이 실용적이고 비용 효율적인 HPO 및 NAS를 수행할 수 있도록 하기 위해.
• 더 큰 성과를 얻기 위해 샘플 효율 전략(예: 베이지안 최적화)과 효율적으로 통합하기 위해.

제안 방법

• PASHA는 유망한 설정에 대해 시간이 지남에 따라 최대 자원 할당량을 점진적으로 증가시키는 방식으로 ASHA를 확장한다.
• 초기에는 낮은 최대 자원 수준으로 시작하여, 초기 평가에서 얻은 정보가 증가함에 따라 점차 증가시킨다.
• 알고리즘은 연속적인 절반 기반의 다중 신뢰도 프레임워크를 사용하지만, 루프 단계 간 성능 안정성에 따라 최대 자원 수준을 증가시킬 수 있도록 한다.
• 자원 수준은 훈련 스텝 수나 기울기 업데이트 수로 정의되어 있어 세밀한 제어와 적응성을 가능하게 한다.
• 연속적인 루프 단계에서 설정 순위의 안정성에 기반해 더 이상 자원을 할당할 시점인지 결정한다.
• BOHB 유사 설정을 통해 베이지안 최적화와 통합되어 샘플 효율성과 점진적 자원 확장성을 결합한다.

실험 결과

연구 질문

• RQ1 점진적 자원 할당 전략은 최종 모델 성능을 저하시키지 않고 HPO 및 NAS에서 계산 비용을 줄일 수 있는가?
• RQ2 최대 자원을 동적으로 조정함으로써 고정 예산 방법 대비 구성 설정 탐색의 속도와 강건성은 어떻게 향상되는가?
• RQ3 PASHA는 고성능 하이퍼파ram터나 아키텍처를 식별하는 데서 일epoch 기반 기준 및 무작위 탐색보다 어느 정도 뛰어나게 성능을 내는가?
• RQ4 베이지안 최적화와 결합했을 때 PASHA의 정확도 및 효율성은 어떻게 평가되는가?
• RQ5 자원의 세분성과 루프 수가 다양한 벤치마크 환경에서 PASHA의 효과성에 어떤 영향을 미치는가?

주요 결과

• WMT 벤치마크에서 PASHA는 ASHA 대비 15.5배의 속도 향상을 기록하여 실행 시간을 43.7시간에서 2.8시간으로 단축했으며, 경쟁력 있는 정확도(62.04% 대 62.72%)를 유지했다.
• ImageNet에서는 ASHA 대비 실행 시간을 7.3시간에서 3.8시간으로 단축했고, 73.37%의 정확도를 달성하여 일epoch 기반 기준(63.40%)을 초월했다.
• 일epoch 기반 기준은 ImageNet에서는 성능이 열악했지만(WMT에서는 62.36%), 다양한 데이터셋 간에 강건성이 떨어지는 것으로 나타났다.
• 무작위 탐색은 모든 다른 방법보다 유의미하게 열등했으며, WMT에서 정확도가 33.93%에 그쳐 체계적인 탐색 전략의 필요성을 입증했다.
• PASHA는 다수의 실행에서 안정적인 성능을 보였고, 표준편차가 낮았으며(예: WMT의 경우 2.05), 일관된 설정 선택이 가능했다.
• 자원의 세분성이 높을 경우 루프 수가 제한되어 있어도 효과적이며, 특히 계산 요구가 높은 대규모 데이터셋에서 속도 향상 효과가 두드러진다.