[논문 리뷰] Multi-Objective Hyperparameter Optimization in Machine Learning -- An Overview

Florian Karl, Tobias Pielok외 11명|arXiv (Cornell University)|2022. 06. 15.

Advanced Multi-Objective Optimization Algorithms참고 문헌 247인용 수 12

한 줄 요약

이 논문은 기계학습에서 다목적 하이퍼파rameter 최적화(MOHPO)에 대한 종합적인 개요를 제공하며, 예측 정확도를 넘어서 실제 세계의 상호 갈등을 해결하기 위해 이를 도입할 것을 주장한다. 진화적 및 베이지안 최적화 방법을 조사하고, 정확도, 효율성, 공정성, 해석 가능성 등의 목표를 균형 있게 조정하는 데의 유용성을 입증하며, 단일 목표 접근 방식에서 놓치기 쉬운 우수한 파레토 최적 구성이 MOHPO에 의해 드러나는 것을 강조한다.

ABSTRACT

Hyperparameter optimization constitutes a large part of typical modern machine learning workflows. This arises from the fact that machine learning methods and corresponding preprocessing steps often only yield optimal performance when hyperparameters are properly tuned. But in many applications, we are not only interested in optimizing ML pipelines solely for predictive accuracy; additional metrics or constraints must be considered when determining an optimal configuration, resulting in a multi-objective optimization problem. This is often neglected in practice, due to a lack of knowledge and readily available software implementations for multi-objective hyperparameter optimization. In this work, we introduce the reader to the basics of multi-objective hyperparameter optimization and motivate its usefulness in applied ML. Furthermore, we provide an extensive survey of existing optimization strategies, both from the domain of evolutionary algorithms and Bayesian optimization. We illustrate the utility of MOO in several specific ML applications, considering objectives such as operating conditions, prediction time, sparseness, fairness, interpretability and robustness.

연구 동기 및 목표

• 정확도, 효율성, 공정성, 해석 가능성과 같은 상호 갈등하는 다수의 목표가 공존하는 실제 기계학습 응용 분야에서 다목적 하이퍼파arameter 최적화(MOHPO)의 도입을 촉진하기 위해.
• 진화 알고리즘과 베이지안 최적화 기법에 중점을 두어 기존 MOHPO 방법에 대한 체계적인 서베이를 제공하기 위해.
• 단일 목표 최적화에 비해 MOHPO가 실용적으로 유리한 점을 입증하기 위해, 특히 전통적인 워크플로우에서 기각되는 다양한 고성능의 상호 갈등 구성이 드러나는 데에 중점을 두기 위해.
• MOHPO의 개방된 과제를 특정화하기 위해, 소프트웨어 지원 부족, 표준화된 벤치마크 부족, 사용자 선호도 및 공정성 메트릭의 통합 등의 문제를 다루기 위해.
• 감독 학습을 넘어서 군집화와 이상 탐지와 같은 비감독 학습 방법으로 MOHPO를 확장하기 위해, 여기서 하이퍼파arameter 최적화는 여전히 핵심이지만 연구가 부족한 분야이다.

제안 방법

• 논문은 하이퍼파arameter 최적화를 다목적 문제로 공식화하여, 정확도, 지연 시간, 희소성, 공정성 등의 다수의 성능 메트릭을 동시에 최적화한다.
• NSGA-II, SPEA2 등의 진화 알고리즘을 활용한 MOHPO에 대해 검토하며, 선택, 교차, 변이를 통해 비지배 솔루션의 다양성을 유지한다.
• 다목적 설정에 적합한 기대 히프레볼륨 개선(예: EHVI) 및 기대 개선(예: EI) 확장 기법을 포함한 베이지안 최적화 접근법을 분석한다.
• 실제 데이터셋을 활용한 사례 연구를 제시하여, MOHPO가 예측 성능과 특징 선택 안정성, 모델 효율성 간의 균형을 이루는 파레토 최적 구성이 무엇인지 드러내는 것을 보여준다.
• 도메인 전문가가 단일 메트릭이 아닌 전체 상호 갈등 구성의 세트를 바탕으로 최종 모델를 선택할 수 있도록, 사후 의사결정을 권장한다.
• 모든 목표를 평가하기 위해 독립적인 테스트 세트를 사용함으로써, 어떤 단일 메트릭에도 과적합되지 않도록 강조한다.

실험 결과

연구 질문

• RQ1 다목적 하이퍼파arameter 최적화는 실제 기계학습 응용 분야에서 단일 목표 최적화를 넘어서 모델 선택을 어떻게 향상시킬 수 있는가?
• RQ2 진화 알고리즘과 베이지안 최적화의 강점과 한계는 다목적 하이퍼파arameter 최적화 문제 해결에 있어 어떻게 다를 수 있는가?
• RQ3 단일 목표 최적화에 비해 MOHPO는 투명성과 의사결정 과정에서 어떤 방식으로 향상되는가?
• RQ4 공정성, 해석 가능성, 효율성 등의 목표는 다목적 하이퍼파arameter 최적화 프레임워크에 어떻게 의미 있게 통합될 수 있는가?
• RQ5 비감독 학습 및 실제 구현 환경에 확장할 때 MOHPO를 확장하는 데 있어 핵심 과제는 무엇인가?

주요 결과

• MOHPO는 단일 목표 최적화에서 자주 기각되는 파레토 최적 구성, 즉 유사하거나 더 높은 정확도를 확보하면서도 더 적은 특징이 선택되고 더 높은 안정성을 확보한 모델을 드러낸다.
• 모델 기반 최적화 방법, 특히 베이지안 최적화가 무작위 검색보다 뚜렷이 뛰어나며, 연구된 벤치마크에서 진화적 접근보다 더 큰 성능 향상을 제공한다.
• 예측 정확도, 특징 선택의 희소성, 모델 안정성 등의 다수의 목표를 사용하면 더 견고하고 구현 가능한 기계학습 워크플로우가 만들어진다.
• 엣지 AI 및 의료 진단과 같은 분야에서는 MOHPO가 정확도와 지연 시간, 메모리 사용량, 임계값 오류 비율 등의 제약 조건 간에 더 나은 상호 갈등을 가능하게 한다.
• growing 관심에도 불구하고, MOHPO는 소프트웨어 지원 부족과 다양한 작업 및 목표에 걸쳐 표준화된 벤치마크가 부족하여 여전히 활용도가 낮다.
• 공정성 및 해석 가능성 목표의 MOHPO 통합은 아직도 개발 중이지만, 이는 중요한 연구 격차를 드러내고 있다.