[논문 리뷰] Hyperparameter Optimization Is Deceiving Us, and How to Stop It

A. Feder Cooper, Yucheng Lu외 2명|arXiv (Cornell University)|2021. 02. 05.

Machine Learning and Data Classification참고 문헌 64인용 수 5

한 줄 요약

이 논문은 불확실성에 대한 엄밀한 추론을 가능하게 하며 위선적인 결론을 방지하기 위해 모달 논리 기반의 형식적 프레임워크인 지식적 하이퍼파라미터 최적화(EHPO)를 소개한다. 이는 계산 자원이 제한된 조건에서 일관성을 보장하는 변형된 무작위 탐색을 증명함으로써, 알고리즘 간 성능 비교가 임의의 하이퍼-하이퍼파라미터 선택에 의해 오도당 일확을 방지한다.

ABSTRACT

Recent empirical work shows that inconsistent results based on choice of hyperparameter optimization (HPO) configuration are a widespread problem in ML research. When comparing two algorithms J and K searching one subspace can yield the conclusion that J outperforms K, whereas searching another can entail the opposite. In short, the way we choose hyperparameters can deceive us. We provide a theoretical complement to this prior work, arguing that, to avoid such deception, the process of drawing conclusions from HPO should be made more rigorous. We call this process epistemic hyperparameter optimization (EHPO), and put forth a logical framework to capture its semantics and how it can lead to inconsistent conclusions about performance. Our framework enables us to prove EHPO methods that are guaranteed to be defended against deception, given bounded compute time budget t. We demonstrate our framework's utility by proving and empirically validating a defended variant of random search.

연구 동기 및 목표

• 알고리즘 성능에 대한 일관성 없는, 위선적인 결론을 초래하는 하이퍼파라미터 최적화(HPO)의 광범위한 문제를 해결하기 위해.
• HPO로부터의 결론 도출 과정을 지식적 하이퍼파라미터 최적화(EHPO)로 형식화하여, 불확실성 하에서의 추론 문제로 간주하기 위해.
• 제한된 시간 예산 내에서 일관된 결론을 보장하는 이론적으로 탄탄한 방법을 개발하여 HPO에서의 위선적 행동에 대비하기 위해.
• 모달 논리를 사용하여 불확실성과 HPO 결과에서의 잠재적 위선을 모델링하는 논리적 프레임워크를 제공하기 위해.
• 하이퍼-하이퍼파라미터 선택을 명시적이고 정당화 가능하게 하여, 더 엄격하고 타당한 HPO 관행을 촉진하기 위해.

제안 방법

• HPO를 지식적 하이퍼파라미터 최적화(EHPO)로 형식화하여, HPO로부터의 결론 도출 과정을 불확실성 하에서의 추론 작업으로 모델링하기 위해.
• 모달 논리를 사용하여 HPO 결과의 불확실성을 포착하고, 다양한 HPO 설정이 서로 다른 결론을 이끌 수 있음을 표현하기 위해.
• 하이퍼-하이퍼파라미터 선택이 임의일 경우 HPO 결과가 위선적일 수 있는 조건을 식별하는 논리적 프레임워크를 정의하기 위해.
• 제한된 시간 예산 t 하에서 성능 비교의 일관성을 보장하는 방어된 무작위 탐색의 변형을 제안하기 위해.
• 두 단계 프로토콜을 도입: 첫 번째로, 유망한 하이퍼-하이퍼파라미터를 식별하기 위한 거친 격자 탐색; 두 번째로, 선택된 부분공간에서의 정밀한 방어된 EHPO 수행.
• 실증적으로, 표준 HPO 설정과 비교했을 때도 방어된 EHPO 방법이 위선적 결론을 피하는 것으로 확인하였다.

실험 결과

연구 질문

• RQ1 다양한 HPO 설정이 알고리즘 성능에 대한 모순된 결론을 이끌 수 있는 하이퍼파라미터 최적화에서의 위선 위험을 형식적으로 모델링할 수 있는가?
• RQ2 고정된 시간 예산이 주어졌을 때, 이러한 위선에 대해 증명 가능하게 강건한 HPO 방법은 어떻게 설계할 수 있는가?
• RQ3 어떤 논리적 프레임워크가 HPO 기반 성능 비교에서의 불확실성과 일관성에 대한 엄밀한 추론을 가능하게 하는가?
• RQ4 기본 성능에 대한 사전 지식이 없이도, 방어된 무작위 탐색 전략이 위선적 결론을 방지할 수 있는 정도는 어느 정도인가?
• RQ5 연구자들은 어떻게 하이퍼-하이퍼파라미터 선택을 더 타당하게 하고, 비체계적인 선택에 의한 편향으로부터 더 적게 영향을 받을 수 있는가?

주요 결과

• 논문은 하이퍼파라미터 위선—다른 HPO 설정이 알고리즘 성능에 대해 반대되는 결론을 이끌 수 있는—이 기계학습 연구에서 실재하며 형식화 가능한 위험임을 증명한다.
• 제한된 시간 예산 t 하에서, 방어된 무작위 탐색의 변형이 위선에 저항하며 일관된 결론을 보장함을 엄밀히 증명한다.
• 모달 논리를 기반으로 한 논리적 프레임워크는 HPO의 불확실성을 성공적으로 포착하고, 결론이 위선에 취약한 조건을 식별한다.
• 실증적 검증을 통해, 방어된 EHPO 방법이 표준 HPO 설정이 모순된 결과를 초래할 수 있는 상황에서도 위선적 결과를 피하는 것으로 확인되었다.
• 거친 격자 탐색과 선택된 하이퍼-하이퍼파라미터에 대한 방어된 EHPO를 조합한 두 단계 프로토콜은 HPO 선택의 타당성과 강건성을 향상시킨다.