[논문 리뷰] Improving Accuracy of Interpretability Measures in Hyperparameter Optimization via Bayesian Algorithm Execution

Julia Moosbauer, Giuseppe Casalicchio외 2명|arXiv (Cornell University)|2022. 06. 11.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 부분적 의존도 그림(PDPs)을 통한 정확한 해석 가능성과 함께 초파rameter 튜닝 성능을 동시에 최적화하는 베이지안 최적화 프레임워크인 BOBAX를 제안한다. IML 추정치에 대한 기대 정보 이득(EIG)을 최대화하기 위해 베이지안 알고리즘 실행(BAX)을 통합함으로써, BOBAX는 최적화 효율성을 희생시키지 않은 채 훨씬 더 신뢰할 수 있는 PDP를 달성하며, 초파라미터 최적화에서 신뢰할 수 있고 실시간 해석이 가능한 방법을 가능하게 한다.

ABSTRACT

Despite all the benefits of automated hyperparameter optimization (HPO), most modern HPO algorithms are black-boxes themselves. This makes it difficult to understand the decision process which leads to the selected configuration, reduces trust in HPO, and thus hinders its broad adoption. Here, we study the combination of HPO with interpretable machine learning (IML) methods such as partial dependence plots. These techniques are more and more used to explain the marginal effect of hyperparameters on the black-box cost function or to quantify the importance of hyperparameters. However, if such methods are naively applied to the experimental data of the HPO process in a post-hoc manner, the underlying sampling bias of the optimizer can distort interpretations. We propose a modified HPO method which efficiently balances the search for the global optimum w.r.t. predictive performance \emph{and} the reliable estimation of IML explanations of an underlying black-box function by coupling Bayesian optimization and Bayesian Algorithm Execution. On benchmark cases of both synthetic objectives and HPO of a neural network, we demonstrate that our method returns more reliable explanations of the underlying black-box without a loss of optimization performance.

연구 동기 및 목표

• 후행 해석 방법인 부분적 의존도 그림(PDPs)을 왜곡시키는 초파라미터 최적화(HPO)의 표본 추출 편향을 해결하기 위해.
• 후행 분석에 의존하지 않고, HPO 과정 중에 마진널 초파라미터 효과의 신뢰할 수 있고 정확한 추정을 가능하게 하기 위해.
• 자동화된 머신러닝에서 최적화 성능와 해석 가능성 품질의 균형을 이루는 일반적이고 효율적인 방법을 개발하기 위해.
• IML 추정치에 대해 원하는 정밀도 임계값을 설정함으로써, 실시간으로 해석 가능한 결과를 조기에 확보할 수 있도록 하기 위해.
• 정확하고 실시간 해석을 통해 의사결정 과정을 투명화함으로써 AutoML 시스템에 대한 신뢰를 향상시키기 위해.

제안 방법

• 예측 성능과 해석 가능성 양자를 동시에 최적화하기 위해 베이지안 최적화(BO)와 베이지안 알고리즘 실행(BAX)을 통합한다.
• PDP 추정치의 정확도를 향상시키기 위해 기대 정보 이득(EIG)을 서로서의 목적 함수로 사용하여 샘플링을 유도한다.
• 여러 초파라미터(예: 학습률, 드롭아웃, 가중치 감쇠)의 PDP에 대해 공동으로 EIG를 계산하여 전역적 해석 가능성을 향상시킨다.
• 사용자가 정의한 신뢰구간 임계값(예: ±1.5% 정확도)에 도달할 때까지 해석 가능성을 우선시하는 적응형 변형(a-BOBAX)을 사용하며, 이후 순수 최적화로 전환한다.
• BO의 서면 모델을 활용하여 IML 통계량을 정량적으로 추정함으로써, 신뢰할 수 있고 불확실성 인식이 가능한 모델에 기반한 해석을 보장한다.
• 모든 BO 변형과 호환되며, PDP 이외의 다른 IML 방법(예: 순열 중요도 또는 SHAP)으로도 확장 가능하다.

실험 결과

연구 질문

• RQ1 최적화 성능을 저하시키지 않으면서도, 초파라미터 최적화에서 부분적 의존도 그림 같은 해석 가능성 측정치의 정확도를 향상시킬 수 있는가?
• RQ2 해석 가능성 목표를 베이지안 최적화 루프에 직접 통합하여, IML 추정치의 표본 추출 편향을 줄일 수 있는가?
• RQ3 적응형 신뢰구간 임계값을 사용함으로써, 최적화 과정의 조기에 신뢰할 수 있는 IML 추정치를 확보할 수 있는가?
• RQ4 제안된 방법은 표준 BO 및 BAX와 비교해도 경쟁적인 최적화 성능를 유지하는가?
• RQ5 신경망 초파라미터 튜닝과 같은 실제 HPO 문제에 대해 이 방법은 어느 정도 스케일링 가능한가?

주요 결과

• a-BOBAX는 표준 BO 및 BAX보다 목표 PDP 정밀도 임계값(±1.5% 정확도 포인트)에 더 빨리 수렴하여 조기에 신뢰할 수 있는 해석이 가능했다.
• a-BOBAX의 최종 PDP 추정치는 랜덤 서치(RS)와 동일한 정확도를 보이며, 해석 품질의 높은 신뢰성을 입증했다.
• a-BOBAX의 최적화 성능는 기대 개선도(EI)를 사용한 표준 BO와 유사하여 높은 예측 성능를 유지했다.
• 성능과 해석 가능성 양측에 대한 탐색 균형을 적극적으로 유지함으로써, 초파라미터 공간의 저표본 영역으로 인한 오해를 유발하는 해석을 줄였다.
• 15개의 다양한 데이터셋에 대한 실증 결과는 다양한 HPO 시나리오에서 PDP 정확도 향상이 일관되게 관찰되었으며, 데이터세트 고유의 특성에 대해 강한 내구성을 보였다.
• 신경망 구성의 학습 및 검증 비용에 비해 BOBAX의 계산 오버헤드는 무시할 만할 정도로 낮아 실제 적용에 실용적이었다.