[논문 리뷰] Explaining Hyperparameter Optimization via Partial Dependence Plots

Julia Moosbauer, Julia Herbinger외 3명|arXiv (Cornell University)|2021. 11. 08.

Advanced Multi-Objective Optimization Algorithms인용 수 10

한 줄 요약

이 논문은 베이지안 최적화 기반 하이퍼파rameter 튜닝을 위한 불확실성 인식 부분 의존도 플롯(PDPs)을 제안한다. 후행 불확실성 추정치를 활용해 하위 영역을 분할하고 신뢰도를 향상시킨다. 하위 영역 PDPs가 최적 설정 근처에서 더 신뢰도 있고 정확한 해석을 제공함을 입증한다.

ABSTRACT

Automated hyperparameter optimization (HPO) can support practitioners to obtain peak performance in machine learning models. However, there is often a lack of valuable insights into the effects of different hyperparameters on the final model performance. This lack of explainability makes it difficult to trust and understand the automated HPO process and its results. We suggest using interpretable machine learning (IML) to gain insights from the experimental data obtained during HPO with Bayesian optimization (BO). BO tends to focus on promising regions with potential high-performance configurations and thus induces a sampling bias. Hence, many IML techniques, such as the partial dependence plot (PDP), carry the risk of generating biased interpretations. By leveraging the posterior uncertainty of the BO surrogate model, we introduce a variant of the PDP with estimated confidence bands. We propose to partition the hyperparameter space to obtain more confident and reliable PDPs in relevant sub-regions. In an experimental study, we provide quantitative evidence for the increased quality of the PDPs within sub-regions.

연구 동기 및 목표

• 자동화된 하이퍼파rameter 최적화(HPO)에서의 해석 가능성 부족 문제, 특히 하이퍼파rameter가 모델 성능에 미치는 영향에 대해 해결하고자 한다.
• 베이지안 최적화가 높은 성능 영역에 집중함에 따라 발생하는 HPO 데이터의 샘플링 편향 문제를 완화하고자 한다. 이는 PDP와 같은 해석 가능한 기계학습(IML) 방법을 적용할 때 발생한다.
• 확률적 서rogate 모델(예: 가우시안 프로세스)의 불확실성 추정치를 통합하여 PDP의 신뢰도를 향상시키는 방법을 개발하고자 한다.
• 하이퍼파rameter 공간을 불확실성이 낮은 하위 영역으로 분할하여, 지역 해석 가능성 향상을 통해 데이터 과학자들이 더 신뢰할 수 있고 실질적인 통찰을 얻을 수 있도록 하고자 한다.
• 해석 가능한 서rogate 모델 분석을 통해 신뢰성, 투명성, 상호작용 피드백을 지원하는 AutoML 시스템의 프레임워크를 제공하고자 한다.

제안 방법

• 베이지안 최적화(BO) 서rogate 모델(예: 가우시안 프로세스)의 사후 불확실성을 활용해 부분 의존도 플롯(PDPs)의 신뢰 구간을 추정한다.
• 불확실성 추정치를 기반으로 하이퍼파rameter 공간을 상호배타적인 하위 영역으로 분할하는 트리 기반 분할 알고리즘을 제안한다. 이는 PDP 추정치의 분산이 낮은 영역을 우선시한다.
• 불확실성 측정치를 활용해 하위 영역 선택을 이끌어내어, 서rogate 모델 예측이 가장 신뢰할 수 있는 영역에서만 PDP를 계산하도록 한다.
• 합성 함수와 실제 딥 네URAL 네트워크 하이퍼파rameter 튜닝에 대해 적용하여, 전역 PDP와 지역 PDP를 비교한다.
• 하위 영역 내에서 ICE(개별 조건 기대값) 곡선을 활용해 특성 간 상호작용을 탐지하여, 마진 효과를 넘어서는 해석 가능성 향상을 달성한다.
• 유연한 불순도 측정치와 불확실성 기반 분할 기준을 통해 혼합 및 계층적 하이퍼파rameter 공간을 지원한다.

실험 결과

연구 질문

• RQ1 베이지안 최적화에서 발생하는 샘플링 편향이 표준 부분 의존도 플롯(PDPs)의 신뢰도에 어떤 영향을 미치는가?
• RQ2 확률적 서rogate 모델의 불확실성 추정치가 하이퍼파rameter 최적화에서 PDP의 신뢰도를 향상시킬 수 있는가?
• RQ3 하이퍼파rameter 공간을 불확실성이 낮은 하위 영역으로 분할하면, 전역 PDP에 비해 더 높은 자신감과 정확도를 가진 PDP를 도출할 수 있는가?
• RQ4 제안된 불확실성 인식 PDP는 전역 PDP에 비해 해석 가능성과 진정한 하이퍼파rameter 효과와의 일치도에서 어떻게 비교되는가?
• RQ5 하위 영역 PDP는 상호작용적이고 신뢰할 수 있는 AutoML 워크플로우를 얼마나 잘 지원할 수 있는가?

주요 결과

• 제안된 불확실성 인식 PDP와 함께 제공되는 신뢰 구간은 특히 하이퍼파rameter 공간의 미탐색 영역에서 데이터가 희소한 영역에서 편향을 크게 감소시킨다.
• 불확실성 기반 하위 영역 분할은 최적 하이퍼파ram터 설정을 포함한 영역에서 PDP의 분산을 크게 낮추고 신뢰도를 높인다.
• 실험 연구에서 지역 PDP는 특히 고차원 및 비선형 탐색 공간에서 전역 PDP에 비해 더 안정적이고 신뢰도 있는 추정치를 확보하였다.
• 이 방법은 하이퍼파ram터 효과가 가장 확실한 영역을 성공적으로 식별하여, 데이터 과학자들이 HPO 과정에서 신뢰할 수 있는 통찰에 집중할 수 있도록 한다.
• 하위 영역 내에서의 ICE 곡선은 전역 PDP에서는 가려졌던 특성 간 상호작용을 드러내어 국소 분석의 추가 가치를 입증한다.
• 이 방법은 가우시안 프로세스와 랜덤 포레스트를 포함한 다양한 서rogate 모델에 적용 가능하며, 혼합 및 계층적 하이퍼파rameter 공간을 지원한다.