[논문 리뷰] Preference Exploration for Efficient Bayesian Optimization with Multiple Outcomes

Zhiyuan Lin, Raul Astudillo외 2명|arXiv (Cornell University)|2022. 03. 21.

Advanced Multi-Objective Optimization Algorithms인용 수 7

한 줄 요약

이 논문은 인간이 참여하는 프레임워크인 선호도 탐색을 통한 베이지안 최적화(Bayesian Optimization with Preference Exploration, BOPE)를 제안한다. 이는 쌍대 비교를 통한 실시간 선호도 학습과 베이지안 최적화를 번갈아 적용하여, 알려지지 않은 유틸리티 함수를 가진 다중 결과 실험을 효율적으로 최적화한다. 기대 유틸리티 기반의 획득 함수(EUBO)를 사용함으로써, 기준 방법들보다 적은 의사결정자(DM) 상호작용과 실험 수로 더 높은 유틸리티를 달성하며, 더 뛰어난 샘플 효율성과 상호작용 감소에 대한 강건성을 입증한다.

ABSTRACT

We consider Bayesian optimization of expensive-to-evaluate experiments that generate vector-valued outcomes over which a decision-maker (DM) has preferences. These preferences are encoded by a utility function that is not known in closed form but can be estimated by asking the DM to express preferences over pairs of outcome vectors. To address this problem, we develop Bayesian optimization with preference exploration, a novel framework that alternates between interactive real-time preference learning with the DM via pairwise comparisons between outcomes, and Bayesian optimization with a learned compositional model of DM utility and outcomes. Within this framework, we propose preference exploration strategies specifically designed for this task, and demonstrate their performance via extensive simulation studies.

연구 동기 및 목표

• 결과에 대한 의사결정자(DM)의 알려지지 않은 복잡한 선호도가 존재하는 고비용 다중 결과 실험을 최적화하는 데 도전하는 것.
• 결과 예측 모델을 활용해 실시간으로 적응형 선호도를 측정함으로써, 시간이 오래 걸리는 실험과 DM 상호작용의 수를 줄이는 것.
• 다중 목적 베이지안 최적화와 선호도 기반 베이지안 최적화와 같은 기존 방법들을 초월하여, 파레토 경계의 관련 영역에 집중하고 선호도를 구성적으로 모델링하는 것.
• 비단조화 선호도를 지원하고, 닫힌 형태의 유틸리티 함수가 필요로 하지 않는 효율적이고 상호작용 기반의 최적화를 가능하게 하는 프레임워크를 개발하는 것.
• 선호도 탐색과 실험 단계를 번갈아 수행하는 것이 최적화 성능을 크게 향상시키며, 의사결정자의 참여를 최소화할 수 있음을 입증하는 것.

제안 방법

• 프레임워크는 두 단계를 번갈아 수행한다: 선호도 탐색(PE) 단계에서는 시스템이 의사결정자(DM)에게 결과 벡터를 비교하도록 질의하고, 실험 단계에서는 새로운 설계를 평가한다.
• 선호도 질의는 기대 유틸리티 기반의 획득 함수(EUBO)를 사용하여 생성되며, 이는 의사결정자의 유틸리티 함수에 대한 기대 정보 수확을 최대화하는 결과 쌍을 선택한다.
• EUBO-ζ와 EUBO-~f는 각각 결과 공간과 결과의 예측 모델을 최적화하여 질의의 관련성과 효율성을 향상시키기 위해 제안된다.
• 의사결정자의 알려지지 않은 유틸리티 함수는 결과에 대한 가우시안 프로세스로 모델링하고, 각 DM 응답 이후 베이지안 추론을 통해 신뢰도를 갱신한다.
• 진짜 결과 함수 f_true의 대체 모델을 통해 가상의 결과를 생성함으로써, 새로운 실험을 기다리지 않고도 질의를 생성할 수 있다.
• 구성적 모델은 f_true의 예측과 학습된 유틸리티 함수 g_true의 예측을 조합하여, 고유틸리티 설계로의 최적화를 이끈다.

실험 결과

연구 질문

• RQ1 알려지지 않은 의사결정자 선호도를 가진 다중 결과 베이지안 최적화에서, 선호도 탐색과 실험 단계를 번갈아 수행하는 것이 최적화 효율성을 향상시키는가?
• RQ2 EUBO 기반 선호도 질의는 PBO-TS와 qNParEGO와 같은 기존 방법에 비해 유틸리티 증가와 샘플 효율성 측면에서 어떻게 비교되는가?
• RQ3 초기 실험 배치 후 한 번의 선호도 탐색만 수행하는 것이 최적화 성능에 어느 정도 영향을 미치는가?
• RQ4 선호도 질의에서 서rogate 기반 결과 생성이 필요한 실험 수와 의사결정자 상호작용 수를 줄이는 데 기여하는가?
• RQ5 비단조화 선호도, 예를 들어 너무 높거나 너무 낮지 않은 결과를 요구하는 선호도를 효과적으로 처리할 수 있는가?

주요 결과

• EUBO-ζ와 EUBO-~f는 모든 테스트 함수에서 일관되게 최고의 유틸리티를 달성했으며, 기준 유틸리티 함수에 이어 두 번째로 높은 성능을 보였다.
• 제안된 EUBO 기반 전략은 PBO-TS 및 기타 기준 방법들보다 유틸리티 증가에서 뛰어나며, 의사결정자 시간 소모와 실험 횟수를 크게 줄였다.
• 초기 실험 배치 후 한 번의 PE 단계만 수행해도, 다수의 PE 단계를 거친 경우와 통계적으로 구분되지 않을 정도로 최고의 유틸리티 수준을 달성했으며, 상호작용 감소에 대한 강건성을 입증했다.
• PE를 단 한 번만 수행해도 성능이 유의미하게 떨어지지 않아, 한 번의 잘 선택된 PE 단계만으로도 고유틸리티 최적화에 충분할 수 있음을 시사했다.
• 예측된 결과 공간 ~f(X)에서의 탐색이 전체 결과 영역 Y₀에서의 직접 탐색보다 우수했으며, 예측 모델을 질의 생성에 활용함으로써 유의미한 이점을 얻을 수 있음을 보여주었다.
• 특정 목표 값에 가까운 결과가 필요로 하는 비단조화 선호도 문제에서도 프레임워크가 뛰어난 성능을 보였으며, 방향성에 따라 단조롭게 변화하는 것이 아닌 경우에도 효과적으로 작동함을 입증했다.