[논문 리뷰] HyperSTAR: Task-Aware Hyperparameters for Deep Networks

Gaurav Mittal, Chang Liu외 4명|arXiv (Cornell University)|2020. 05. 21.

Advanced Neural Network Applications참고 문헌 47인용 수 4

한 줄 요약

HyperSTAR는 원시 이미지로부터 데이터셋과 하이퍼파ram터의 공동 표현을 학습하여 높은 성능을 보이는 설정을 추천하는 작업 인식 하이퍼파ram터 최적화 프레임워크이다. 새로운 작업에 대한 성능을 예측하기 위해 모델을 엔드 투 엔드로 훈련함으로써 HyperSTAR는 HPO 탐색 시간을 50% 감소시키고, 기존의 베이지안 최적화 또는 일반적인 변형 대비 25%의 예산으로 최적의 정확도를 달성할 수 있게 한다.

ABSTRACT

While deep neural networks excel in solving visual recognition tasks, they require significant effort to find hyperparameters that make them work optimally. Hyperparameter Optimization (HPO) approaches have automated the process of finding good hyperparameters but they do not adapt to a given task (task-agnostic), making them computationally inefficient. To reduce HPO time, we present HyperSTAR (System for Task Aware Hyperparameter Recommendation), a task-aware method to warm-start HPO for deep neural networks. HyperSTAR ranks and recommends hyperparameters by predicting their performance conditioned on a joint dataset-hyperparameter space. It learns a dataset (task) representation along with the performance predictor directly from raw images in an end-to-end fashion. The recommendations, when integrated with an existing HPO method, make it task-aware and significantly reduce the time to achieve optimal performance. We conduct extensive experiments on 10 publicly available large-scale image classification datasets over two different network architectures, validating that HyperSTAR evaluates 50% less configurations to achieve the best performance compared to existing methods. We further demonstrate that HyperSTAR makes Hyperband (HB) task-aware, achieving the optimal accuracy in just 25% of the budget required by both vanilla HB and Bayesian Optimized HB~(BOHB).

연구 동기 및 목표

• 모든 데이터셋을 동일하게 취급하는 작업 무관 하이퍼파aram터 최적화(HPO) 방법의 비효율성을 해결하기 위해, 시각적 특성에 관계없이 동일하게 대응하는 것에 대비하여.
• 원시 이미지에서의 시각적 사전 지식을 활용하여 데이터셋과 하이퍼파aram터의 공동 표현을 학습함으로써 HPO의 효율성을 향상시키는 방법을 개발하기 위해.
• 기존 HPO 알고리즘에 대한 온도 시작(워밍 스타트)을 가능하게 하여 특정 작업에 맞게 최적화된 하이퍼파aram터 설정을 추천하기 위해.
• 특히 철저한 계산 예산 제약 조건 하에서 평가해야 할 설정 수를 크게 줄이면서도 최적의 성능을 달성하기 위해.

제안 방법

• HyperSTAR는 엔드 투 엔드 방식으로 딥 네ural 네트워크를 사용하여 원시 학습 이미지에서 직접 작업 표현을 학습한다.
• 학습된 작업 표현을 바탕으로 주어진 하이퍼파aram터 설정에 대한 정확도를 추정하는 성능 예측 모델을 공동으로 훈련한다.
• 이 방법은 두 단계로 구성된 메타러닝 프레임워크를 사용한다: 다양한 과거 데이터셋에 대한 오프라인 메타러닝과 새로운 미사용 데이터셋에 대한 온라인 추천.
• HyperSTAR는 예측된 성능에 따라 하이퍼파aram터 설정을 순위 매김함으로써 Hyperband과 같은 HPO 파이프라인에서 우선순위를 정할 수 있도록 한다.
• 기존 HPO 방법과의 통합을 위해, 무작위 또는 균일한 설정 샘플링 대신 작업 인식 기반의 후보 순위를 제공함으로써 통합한다.
• 유사한 데이터셋의 표현을 정렬하고, 다양한 작업 간의 일반화 능력을 향상시키기 위해 대비 학습 목표를 활용한다.

실험 결과

연구 질문

• RQ1 모델이 수동으로 작성된 메타특성에 의존하지 않고, 오직 원시 이미지만을 기반으로 새로운 이미지 분류 작업에 최적의 하이퍼파aram터 설정을 예측할 수 있는가?
• RQ2 데이터셋과 하이퍼파aram터의 공동 표현이 하이퍼파aram터 최적화의 효율성을 향상시키는 데 얼마나 효과적인가?
• RQ3 HyperSTAR는 최종 모델 정확도를 유지하거나 향상시키면서 평가해야 할 설정 수를 얼마나 줄일 수 있는가?
• RQ4 특히 저예산 설정에서 HyperSTAR가 최신 HPO 알고리즘인 Hyperband을 가속화하는 데 사용될 수 있는가?

주요 결과

• HyperSTAR는 10개의 대규모 이미지 분류 데이터셋에서 최적의 Top-1 정확도를 동일하게 달성하면서도, 최신 기술 대비 평가해야 할 하이퍼파aram터 설정 수를 50% 감소시켰다.
• Hyperband에 통합된 HyperSTAR는 일반적인 Hyperband 및 베이지안 최적화된 Hyperband(BOHB)가 요구하는 예산의 25%만으로도 최적의 성능을 달성했다.
• 가장 작은 예산 설정(100 에포크)에서, HyperSTAR 기반 Hyperband는 일반적인 HB 및 BOHB보다 평균 1.5% 높은 Top-1 정확도를 기록했다.
• 데이터셋 그룹화에 의존하지 않고 원시 픽셀에서 학습함으로써, Tr-AutoML에 비해 효율성이 뛰어나며, 평가 예산을 10배 줄여도 유사한 성능을 달성했다.
• 예산이 증가함에 따라 HyperSTAR와 기준 방법 간의 성능 격차가 줄어들며, 이는 HyperSTAR가 대규모 예산 조건에서도 효율적이고 효과적임을 시사한다.
• 제거 실험 결과는 공동 데이터셋-하이퍼파aram터 표현의 엔드 투 엔드 학습이 강력한 일반화 및 추천 품질을 확보하는 데 핵심적임을 확인한다.