[논문 리뷰] Optuna: A Next-generation Hyperparameter Optimization Framework

Plambeck, Swantje, Schmidt, Maximilian외 3명|arXiv (Cornell University)|2019. 07. 25.

Machine Learning and Data Classification참고 문헌 23인용 수 980

한 줄 요약

Optuna는 동적 탐색 공간 구축을 위한 define-by-run API, 효율적인 정지 및 샘플링 알고리즘, 확장성 있고 쉽게 배포할 수 있는 아키텍처를 제공하는 차세대 하이퍼파rameter 최적화 프레임워크이다. 기존 프레임워크에 비해 효율성과 사용성 면에서 뛰어나며, 분산 워커와 함께 선형 확장성을 보이며, 실세계 응용 분야인 객체 검출, HPL 벤치마킹, 데이터베이스 튜닝에서 정지 기반으로 상당한 속도 향상을 보인다.

ABSTRACT

Hybrid systems, which combine both continuous and discrete behavior, are used in many fields, including robotics, biological systems, and control systems. However, due to their complexity, finding an accurate model is a challenge. This paper discusses the usage of symbolic regression to learn hybrid systems from data and specifically analyses learning parameters for a recent algorithm. Symbolic regression is a powerful tool that can automatically discover accurate and interpretable mathematical models in the form of symbolic expressions. Models generated by symbolic regression are a valuable tool for system identification and diagnosis, e.g., to predict future system behavior or detect anomalies. A major opportunity of our approach is the ability to detect transitions between different continuous behaviors of a system directly based on the dynamics. From a diagnosis perspective, this can advantageously be used to detect the system entering fault modes and identify their models. This paper presents a parameter study for a symbolic regression based identification algorithm.

연구 동기 및 목표

• 기존 하이퍼파rameter 최적화 프레임워크가 정적이고 사전 정의된 탐색 공간을 요구하는 한계를 해결한다.
• 특히 조건부 또는 가변 아키텍처를 가진 모델을 위한 동적, 런타임 탐색 공간 구축을 가능하게 한다.
• TPE 및 ASHA와 같은 고급 샘플링 전략과 통합된 사용자 정의 가능한 정지 전략을 통해 최적화 효율성을 향상시킨다.
• 경량 상호작용 실험부터 대규모 분산 컴퓨팅까지 모두 지원하는 다재다능하고 쉽게 배포할 수 있는 프레임워크를 설계한다.
• 딥러닝을 초월한 다양한 실세계 응용 분야에서 프레임워크의 효과성을 입증한다. HPC 및 데이터베이스 튜닝을 포함한다.

제안 방법

• 하이퍼파rameter 탐색 공간이 목표 함수 실행 중 라이브 트라이얼 객체를 통해 동적으로 구성되는 define-by-run API를 도입한다.
• 각 최적화 실행이 스터디이며, 각 평가는 트라이얼인 스터디 기반 아키텍처를 사용한다. 중앙 집중식 스터디 객체로 관리된다.
• Tree-structured Parzen Estimator (TPE)를 사용한 베이지안 최적화와 ASHA 정지 알고리즘을 통한 적응형 자원 할당을 구현한다.
• 클라이언트-서버 모델을 사용해 순차적 및 분산 최적화를 모두 지원하며, 워커 수에 따라 선형적으로 확장된다.
• 트라이얼 객체의 메서드 체이닝을 통해 사용자 정의 조건부 하이퍼파rameter와 동적 아키텍처 탐색(예: 신경망의 레이어 수 및 뉴런 수 변동)을 가능하게 한다.
• 중간 결과를 모니터링하고 성과가 우미미치지 못하는 트라이얼을 조기에 종료하는 정지 전략을 통합하여 자원 낭비를 줄인다.

실험 결과

연구 질문

• RQ1 define-by-run API는 신경망 아키텍처 탐색에서 복잡하고 조건부인 하이퍼파rameter 공간의 정의를 크게 단순화할 수 있는가?
• RQ2 기존 프레임워크의 정적 구성 대비 동적 탐색 공간 구축이 사용성과 표현력에 어떤 영향을 미치는가?
• RQ3 제한된 계산 예산 하에서 효율적인 정지 및 샘플링 알고리즘이 최적화 효율성을 얼마나 향상시킬 수 있는가?
• RQ4 통합된 프레임워크가 경량 상호작용 실험에서부터 대규모 분산 하이퍼파rameter 튜닝까지 효율적으로 확장될 수 있는가?
• RQ5 Optuna는 HPC 벤치마킹 및 데이터베이스 설정과 같은 실세계의 비딥러닝 워크로드에서 어떻게 성능을 발휘하는가?

주요 결과

• Optuna의 define-by-run API는 최소한의 코드로 복잡하고 조건부인 아키텍처(예: 가변 깊이 신경망)의 하이퍼파rameter 공간을 동적으로 구성할 수 있게 하며, 사전 설정이 필요 없다.
• 분산 환경에서 선형 확장성을 달성한다: 다양한 워커 수에서 테스트 오차가 안정되어 있어 효율적인 로드 분배와 최소한의 통신 오버헤드를 의미한다.
• 정지 기반(예: ASHA)으로 4시간 동안 RocksDB에서 937개의 파라미터 조합을 탐색한 반면, 정지 없이선 단 39개에 그쳤으며, 평균 계산 시간은 372초에서 30초로 감소했다.
• Open Images Object Detection 2018 경진대회에서 Optuna를 활용해 2위를 차지한 PFDet 모델을 개발했으며, 이는 대규모 머신러닝 작업에서의 실세계 효과성을 입증한다.
• 초기 고성능 린팩스(HPL) 벤치마킹에서 슈퍼컴퓨터의 최적 파라미터를 찾는 데 소요된 시간을 단축시켜, 딥러닝을 초월한 유용성을 보였다.
• FFmpeg 인코딩에서 Optuna는 재구성 오차가 두 번째로 우수한 프리셋과 유사한 파라미터 조합을 발견했으며, 이는 비머신러닝 시스템 튜닝 분야의 효과성도 입증한다.