[논문 리뷰] Trust Region Constrained Bayesian Optimization with Penalized Constraint Handling

Raju Chowdhury, Tanmay Sen외 2명|arXiv (Cornell University)|2026. 03. 25.

Advanced Multi-Objective Optimization Algorithms인용 수 0

한 줄 요약

논문은 제약 처리를 다루기 위해 큰-M 패널티를 사용하는 트러스트-리전 베이지안 최적화 방법인 TR-MEI를 제안하며, SCBO 및 FuRBO에 비해 높은 차원에서의 제약 최적화에서 실행 가능성과 샘플 효율성을 향상시켜 효율적인 고차원 제약 최적화를 달성한다.

ABSTRACT

Constrained optimization in high-dimensional black-box settings is difficult due to expensive evaluations, the lack of gradient information, and complex feasibility regions. In this work, we propose a Bayesian optimization method that combines a penalty formulation, a surrogate model, and a trust region strategy. The constrained problem is converted to an unconstrained form by penalizing constraint violations, which provides a unified modeling framework. A trust region restricts the search to a local region around the current best solution, which improves stability and efficiency in high dimensions. Within this region, we use the Expected Improvement acquisition function to select evaluation points by balancing improvement and uncertainty. The proposed Trust Region method integrates penalty-based constraint handling with local surrogate modeling. This combination enables efficient exploration of feasible regions while maintaining sample efficiency. We compare the proposed method with state-of-the-art methods on synthetic and real-world high-dimensional constrained optimization problems. The results show that the method identifies high-quality feasible solutions with fewer evaluations and maintains stable performance across different settings.

연구 동기 및 목표

• 고비용 평가를 수반하는 고차원 블랙박스 제약 최적화의 도전을 해결한다.
• 베이지안 최적화 프레임워크에 큰-M 패널티 제약 처리를 통합한다.
• 고차원에서의 안정성과 효율성을 향상시키기 위해 로컬 트러스트 영역을 활용한다.
• 패널라이즈된 목표 내에서 EI 기반 활용도 확보를 통해 탐색과 활용의 균형을 맞춘다.

제안 방법

• 제약 위반에 대한 큰-M 패널티를 통해 제약 문제를 무제약 문제로 변환한다.
• 목표 함수와 각 제약을 독립적인 가우시안 프로세스로 모델링한다.
• 패널라이즈된 목표의 예측 분포를 사용해 패널라이즈된 EI(M-EI)를 정의한다.
• 현 최적해를 중심으로 하이퍼-직사각형 트러스트 영역으로 최적화를 제한한다.
• 진행 상황에 따라 대리 모델과 트러스트 영역의 크기를 반복적으로 업데이트한다.

Figure 1: Ackley

실험 결과

연구 질문

• RQ1 TR-MEI가 기존의 고차원 제약 BO 방법들보다 더 적은 평가로 더 높은 품질의 실행가능한 해를 달성할 수 있는가?
• RQ2 큰-M 패널티를 트러스트 영역과 통합하면 고차원 제약 설정에서 안정성과 확장성이 향상되는가?
• RQ3 합성 제약 벤치마크에서 TR-MEI가 SCBO 및 FuRBO와 비교해 실행가능성 및 목표값 측면에서 어떤 차이를 보이는가?
• RQ4 패널티 기반의 무제약 형식이 초기 비실현점에서 효과적으로 작동하는가?

주요 결과

• TR-MEI는 벤치마크 문제 전반에서 더 적은 함수 평가로 높은 품질의 실행가능한 해를 식별한다.
• Ackley, Levy, 및 Rastrigin(20D)에서 TR-MEI는 FuRBO 및 SCBO보다 실행가능한 최적해로의 수렴 속도가 빠르다.
• 다양한 문제 설정에서 안정적인 결과를 보여주는 견고한 성능을 시연한다.
• 페널티로 인해 비실현점에서도 실행가능한 해를 시작점으로 삼을 수 있다.
• SCBO 및 FuRBO에 비해 TR-MEI는 Thompson 샘플링에 의존하지 않는 간단하고 해석적으로 다루기 쉬운 EI를 제공한다.

Figure 2: Levy