[논문 리뷰] Stagewise Safe Bayesian Optimization with Gaussian Processes

Yanan Sui, Vincent Zhuang외 2명|arXiv (Cornell University)|2018. 06. 20.

Gaussian Processes and Bayesian Inference인용 수 67

한 줄 요약

StageOpt는 안전한 베이지안 최적화에서 안전 영역 확장과 유틸리티 최적화를 분리하여 이론적 보장을 제공하고 합성 테스트 및 척수 자극 치료에서 우수한 성능을 시연합니다.

ABSTRACT

Enforcing safety is a key aspect of many problems pertaining to sequential decision making under uncertainty, which require the decisions made at every step to be both informative of the optimal decision and also safe. For example, we value both efficacy and comfort in medical therapy, and efficiency and safety in robotic control. We consider this problem of optimizing an unknown utility function with absolute feedback or preference feedback subject to unknown safety constraints. We develop an efficient safe Bayesian optimization algorithm, StageOpt, that separates safe region expansion and utility function maximization into two distinct stages. Compared to existing approaches which interleave between expansion and optimization, we show that StageOpt is more efficient and naturally applicable to a broader class of problems. We provide theoretical guarantees for both the satisfaction of safety constraints as well as convergence to the optimal utility value. We evaluate StageOpt on both a variety of synthetic experiments, as well as in clinical practice. We demonstrate that StageOpt is more effective than existing safe optimization approaches, and is able to safely and effectively optimize spinal cord stimulation therapy in our clinical experiments.

연구 동기 및 목표

• 불확실성 하에서의 안전한 순차 최적화를 동기로 삼아 매 단계에서 안전해야 한다.
• RKHS 경계로 제약된 가우시안 프로세스로 유틸리티와 안전 함수를 모델링한다.
• 안전한 영역을 분리 확장하고 안전 제약 내에서 유틸리티를 최대화하기 위해 StageOpt를 제안한다.
• 안전 만족 및 최적점으로의 수렴에 대한 유한 시간 이론적 보장을 제공한다.
• 합성 실험 및 임상 척수 자극 응용을 통해 효과를 시연한다.

제안 방법

• 유틸리티 및 안전 함수를 RKHS 노름이 한정된 가우시안 프로세스로 모델링하고, 안전 함수는 Lipschitz 연속으로 가정한다.
• 두 단계 StageOpt 정의: 먼저 신뢰 구간 및 도달 가능성으로 안전 영역 확장, 그런 다음 GP-UCB를 이용해 안전 영역 내에서 유틸리티 최적화
• 확대 중 안전 확장을 보장하기 위해 prior 경계와 현재 관측치를 교차시키는 보수적 신뢰 경계 C_t^i를 사용
• 확장을 안전 집합 업데이트 S_t 및 확장자 집합 G_t를 통해 계산하고, 확장자는 예측 불확실성이 최대인 항목으로 선택
• 최적화 단계에서 확장된 안전 영역 내에서 GP-UCB를 통해 x_t를 선택; 이원 피드백 적응 허용(Appendix B).
• 이론적 결과: 정리 1은 epsilon-도달 가능한 안전 영역 확장을 보장; 정리 2는 안전 영역 내에서 zeta-최적 유틸리티를 보장.

실험 결과

연구 질문

• RQ1 StageOpt가 초기 안전 영역을 finite horizon 내에서 epsilon-reachable 집합으로 안전하게 확장할 수 있는가?
• RQ2 확장된 안전 영역 내에서 finite horizon 내에 zeta-최적의 유틸리티 값을 달성할 수 있는가?
• RQ3 안전 확장과 최적화를 분리하는 것이 서로 다른 안전 및 유틸리티 규모에 걸쳐 효율성과 적용성을 개선하는가?
• RQ4 합성 및 임상 환경에서 SafeOpt 및 제약 EI에 비해 StageOpt의 성능은 어떠한가?

주요 결과

• StageOpt는 유효한 확률로 epsilon-reachable 세트까지 안전 영역 확장.
• StageOpt는 확장된 안전 영역에서 high probability로 zeta-optimal 유틸리티를 달성.
• StageOpt는 SafeOpt보다 빠르게 안전 영역을 확장하고 최적화 중 종종 더 높은 유틸리티 포인트를 식별.
• SafeOpt 및 CEI와 비교하여 StageOpt은 합성 실험에서 다양한 안전 제약 하에서 더 강한 실험적 성능을 보임.
• 척수 자극 최적화 임상 실험에서 StageOpt은 더 큰 안전 영역을 안전하게 탐색하고 의사 추천을 능가하는 자극 전략을 발견.
• 이 프레임워크는 GP 기반 안전 베이지안 최적화의 안전성 및 최적화에 맞춘 이론적 보장을 제공합니다.