[논문 리뷰] CHOPT : Automated Hyperparameter Optimization Framework for Cloud-Based Machine Learning Platforms

Jingwoong Kim, Minkyu Kim외 7명|arXiv (Cornell University)|2018. 10. 08.

Machine Learning and Data Classification참고 문헌 20인용 수 9

한 줄 요약

CHOPT는 클라우드 네이티브 하이퍼파라미터 최적화 프레임워크로, 정지-계속 전략을 사용하여 공유 컴퓨팅 환경에서 자원 효율성을 향상시킨다. 이는 동적 GPU 할당과 초기 정지된 모델의 복원을 가능하게 하여 자원 활용도를 높인다. 최신 HyperOpt 알고리즘을 통합한 인터랙티브 웹 기반 시각화 도구를 제공하여, CIFAR-100에서 ResNet을 사용할 경우 77.42%의 top-1 정확도를 달성하면서도 GPU 시간을 60일 이상에서 단 2일로 줄였다.

ABSTRACT

Many hyperparameter optimization (HyperOpt) methods assume restricted computing resources and mainly focus on enhancing performance. Here we propose a novel cloud-based HyperOpt (CHOPT) framework which can efficiently utilize shared computing resources while supporting various HyperOpt algorithms. We incorporate convenient web-based user interfaces, visualization, and analysis tools, enabling users to easily control optimization procedures and build up valuable insights with an iterative analysis procedure. Furthermore, our framework can be incorporated with any cloud platform, thus complementarily increasing the efficiency of conventional deep learning frameworks. We demonstrate applications of CHOPT with tasks such as image recognition and question-answering, showing that our framework can find hyperparameter configurations competitive with previous work. We also show CHOPT is capable of providing interesting observations through its analysing tools

연구 동기 및 목표

• 공유 클라우드 환경에서 기존 하이퍼파라미터 최적화(HyperOpt) 방법의 비효율성과 높은 통합 비용을 해결하기 위해.
• 최적화 중에 동적으로 GPU 할당 및 회수를 통해 공유 클러스터의 자원 활용도를 향상시키기 위해.
• 여러 실험에 걸쳐 하이퍼파라미터를 모니터링하고 분석하며 정밀 조정할 수 있도록 인터랙티브 웹 기반 인터페이스를 제공하기 위해.
• 유망한 모델을 초기 정지 후 복원하여 잠재적으로 좋은 설정을 손실하지 않도록 하기 위해.
• 이전 연구 대비 실제 작업(예: 이미지 분류, 질의 응답)에서 경쟁 가능한 성능을 입증하기 위해.

제안 방법

• 정지-계속 전략은 사용자가 자원을 적게 쓰는 기간 동안 비어 있는 GPU를 CHOPT 세션에 동적으로 할당하여 클러스터 활용도를 향상시킨다.
• 마스터 에이전트는 GPU 가용성을 실시간으로 모니터링하고 실시간 수요에 따라 사용자 작업과 CHOPT 세션 간 자원을 재할당한다.
• 초기 정지된 모델은 저장되어 잠재적인 성능을 보일 경우 복원 및 완전 학습이 가능하여 좋은 설정을 손실하지 않는다.
• 프레임워크는 PBT, Hyperband, BOHB 등 다양한 HyperOpt 알고리즘을 지원하며 통합된 클라우드 기반 파이프라인에 통합한다.
• 인터랙티브 웹 기반 시각화 도구를 통해 사용자는 최적화 진행 상황을 모니터링하고 결과를 비교하며 반복적인 하이퍼파라미터 튜닝을 수행할 수 있다.
• 시스템은 확장 가능하고 모든 클라우드 플랫폼과 호환되어 기존 딥러닝 워크플로우에 원활하게 통합될 수 있도록 설계되었다.

실험 결과

연구 질문

• RQ1 모델 성능을 희생시키지 않고도 하이퍼파라미터 최적화 과정에서 공유 클라우드 자원을 어떻게 효율적으로 활용할 수 있는가?
• RQ2 정지-계속 전략과 같은 동적 자원 할당 전략이 자원 효율성과 최적화 성과를 모두 향상시킬 수 있는가?
• RQ3 초기 정지된 모델을 얼마나 잘 복원할 수 있으며, 높은 성능을 낼 잠재력을 지닌 설정을 얼마나 잘 복구할 수 있는가?
• RQ4 CHOPT의 인터랙티브 시각화 도구는 반복적인 하이퍼파라미터 튜닝과 모델 분석을 어떻게 지원하는가?
• RQ5 CHOPT는 실제 작업에서 인간이 수작업으로 튜닝한 모델과 이전 최고 수준의 성능을 경쟁적으로 달성할 수 있는가?

주요 결과

• 최적의 초기 정지 전략(스텝 사이즈 25 에포크)을 사용할 경우, CHOPT는 CIFAR-100에서 top-1 정확도 79.45%를 유지하면서 GPU 시간을 60일 이상에서 22일로 줄였다.
• 작은 스텝 사이즈(3 에포크)를 사용할 경우, CHOPT는 단 2일의 GPU 시간으로도 77.42%의 top-1 정확도를 달성하여 높은 효율성을 입증했다.
• 정지-계속 전략은 초기 정지된 모델을 성공적으로 복원하여, 완전 학습 후 76.61%의 top-1 정확도를 기록함으로써 유망한 설정을 복구할 잠재력을 보였다.
• CHOPT는 ResNet을 사용한 CIFAR-100 이미지 분류 과제에서 77.42%의 top-1 정확도를 달성하여 인간이 수작업으로 튜닝한 모델과 유사한 성능을 보였다.
• 시각화 도구를 통해 효과적인 모니터링과 반복적 튜닝이 가능하여 사용자가 결과를 비교하고 하이퍼파라미터를 인터랙티브하게 개선할 수 있었다.
• 시스템은 뚜렷한 자원 절감 효과를 보였으며, 초기 정지 없이 60일 이상 소요되는 경우 대비 22일의 런타임에 79.45%의 정확도를 달성했다.