[논문 리뷰] Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces

Alexander Thebelt, Calvin Tsay외 5명|arXiv (Cornell University)|2022. 07. 02.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 혼합형 특성 공간에서의 불확실성 측정 및 제약 최적화를 가능하게 하는 트리 앙상블 커널 가우시안 프로세스 프레임워크를 제안한다. 트리 앙상블을 가우시안 프로세스 사전분포로 해석함으로써 모델 분산을 효율적으로 계산하고, 알려진 제약 조건 하에서 획득 함수를 최대화하기 위해 혼합정수 2차원 원추 프로그래밍 문제(MISOCP)를 구성한다. 이는 제약 조건이 있는 혼합형 특성 최적화 작업에서 최신 기술들을 능가한다.

ABSTRACT

Tree ensembles can be well-suited for black-box optimization tasks such as algorithm tuning and neural architecture search, as they achieve good predictive performance with little or no manual tuning, naturally handle discrete feature spaces, and are relatively insensitive to outliers in the training data. Two well-known challenges in using tree ensembles for black-box optimization are (i) effectively quantifying model uncertainty for exploration and (ii) optimizing over the piece-wise constant acquisition function. To address both points simultaneously, we propose using the kernel interpretation of tree ensembles as a Gaussian Process prior to obtain model variance estimates, and we develop a compatible optimization formulation for the acquisition function. The latter further allows us to seamlessly integrate known constraints to improve sampling efficiency by considering domain-knowledge in engineering settings and modeling search space symmetries, e.g., hierarchical relationships in neural architecture search. Our framework performs as well as state-of-the-art methods for unconstrained black-box optimization over continuous/discrete features and outperforms competing methods for problems combining mixed-variable feature spaces and known input constraints.

연구 동기 및 목표

• 혼합형 특성 및 제약 조건이 있는 검색 공간에서 트리 앙상블 기반 베이지안 최적화의 불확실성 측정 문제를 해결하기 위해.
• 트리 앙상블에서 유도된 조각별로 일정한 반응을 보이는 모델을 다룰 수 있는, 미분 가능하고 최적화에 적합한 획득 함수의 수식을 개발하기 위해.
• 계층적 관계나 조건부 특성 의존성과 같은 도메인 전문 지식 기반 제약 조건을 최적화 과정에 통합하여 샘플링 효율성을 향상시키기 위해.
• 연속형, 이산형, 범주형 특성을 포함한 구조적 제약 조건이 있는 공간에서 확장 가능하고 효율적인 베이지안 최적화를 가능하게 하기 위해, 특히 공학 및 신경망 아키텍처 탐색 환경에서.
• 기존 방법들보다 우수한 성능을 보이는 실용적이고 오픈소스로 제공되는 구현체를 제공하기 위해.

제안 방법

• 트리 앙상블을 트리 일치 비율에서 유도된 커널을 사용해 가우시안 프로세스 사전분포로 해석함으로써 체계적인 불확실성 측정이 가능해진다.
• 획득 함수 최적화를 혼합정수 2차원 원추 프로그래밍(MISOCP) 문제로 설정함으로써 조각별 일정한 반응 표면에서 정확한 최적화를 가능하게 한다.
• 트리 앙상블 커널은 변수의 계층적 구조와 조건부 의존성을 커널 구조 및 최적화 수식에 직접 통합함으로써 알려진 제약 조건을 반영한다.
• 적절한 커널 및 제약 조건 설계를 통해 연속형, 정수형, 범주형 특성을 포함한 혼합형 특성 공간을 지원한다.
• 모델 불확실성의 대체 지표로 트리 일치 비율이라는 초모수를 사용하며, 이는 탐색 공간에서의 효과적인 탐색을 이끄는 데 충분함이 입증되었다.
• 최적화는 MISOCP 수식을 통해 구현되며, 이는 제약 조건 하에서 획득 함수의 효율적이고 전역적인 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 트리 앙상블 커널이 블랙박스 최적화에서 신뢰할 수 있는 불확실성 측정을 가능하게 하기 위해 가우시안 프로세스 사전분포로 효과적으로 해석될 수 있는가?
• RQ2 조각별 일정한 반응 표면을 가지는 트리 앙상블 기반 모델에 대해 획득 함수 최적화를 효율적으로 수식화할 수 있는가?
• RQ3 계층적 의존성이나 조건부 특성 활성화와 같은 알려진 입력 제약 조건이 트리 앙상블 기반 베이지안 최적화에 얼마나 효과적으로 통합될 수 있는가? 특히 샘플링 효율성을 향상시키는 데 기여하는가?
• RQ4 제약 조건이 있는 혼합형 특성 최적화 환경에서 제안된 MISOCP 기반 획득 함수 최적화가 샘플링 기반 전략보다 우수한가?
• RQ5 복잡한 특성 제약 조건이 있는 벤치마크에서 제안된 방법은 최신 기술 대비 어떻게 비교되는가?

주요 결과

• 제안된 트리 앙상블 커널 가우시안 프로세스 프레임워크는 연속형 및 이산형 특성을 포함한 제약 조건이 없는 블랙박스 최적화 작업에서 최신 기술과 유사한 성능을 달성한다.
• 특히 신경망 아키텍처 탐색 벤치마크에서 복합형 특성 공간과 알려진 입력 제약 조건이 있는 문제들에 대해 경쟁 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 모델 불확실성의 대체 지표로 트리 일치 비율을 사용한 것이 탐색 공간 내 효과적인 탐색을 이끄는 데 충분하고 효과적임이 입증되었다.
• 획득 함수 최적화를 위한 MISOCP 수식은 특히 복잡한 제약 조건 하에서도 샘플링 기반 전략에 비해 뛰어난 수렴성과 샘플링 효율성을 보였다.
• 계층적 및 조건부 특성 의존성을 성공적으로 처리하였으며, 예를 들어 신경망 아키텍처에서 비활성화된 레이어의 하이퍼파라미터를 비활성화하는 등의 사례에서 최적화 효율성이 향상되었다.
• 오픈소스 구현체가 제공되어 재현 가능성이 보장되며, 실제 공학 및 머신러닝 워크플로우에의 통합이 가능하다.