[논문 리뷰] Multi-Attribute Bayesian Optimization With Interactive Preference Learning

Raul Astudillo, Peter I. Frazier|arXiv (Cornell University)|2019. 11. 13.

Data Stream Mining Techniques인용 수 10

한 줄 요약

이 논문은 의사결정자들의 유틸리티 함수에 대한 불확실성을 다루기 위해 상호작용형 선호 학습을 통합한 다중 속성 베이지안 최적화 프레임워크를 제안한다. 기존의 점추정 기반 방법에 비해 선호도에 대한 강건성과 질의 효율성을 높이기 위해, 유틸리티 불확실성 하에서의 기대 개선도(예: EI-UU)와 유틸리티 불확실성 하에서의 톰슨 샘플링(예: TS-UU)을 포함한 새로운 할당 함수를 사용하여, 다양한 실현 가능한 유틸리티 함수에 대해 강건한 설계를 선택한다. 최종적으로, 최고 품질의 옵션 목록을 제공함으로써, 단일 '최적' 설계가 아닌 의사결정자에게 맞는 다양한 선택지를 제공한다.

ABSTRACT

We consider black-box global optimization of time-consuming-to-evaluate functions on behalf of a decision-maker (DM) whose preferences must be learned. Each feasible design is associated with a time-consuming-to-evaluate vector of attributes and each vector of attributes is assigned a utility by the DM's utility function, which may be learned approximately using preferences expressed over pairs of attribute vectors. Past work has used a point estimate of this utility function as if it were error-free within single-objective optimization. However, utility estimation errors may yield a poor suggested design. Furthermore, this approach produces a single suggested "best" design, whereas DMs often prefer to choose from a menu. We propose a novel multi-attribute Bayesian optimization with preference learning approach. Our approach acknowledges the uncertainty in preference estimation and implicitly chooses designs to evaluate that are good not just for a single estimated utility function but a range of likely ones. The outcome of our approach is a menu of designs and evaluated attributes from which the DM makes a final selection. We demonstrate the value and flexibility of our approach in a variety of experiments.

연구 동기 및 목표

• 의사결정자의 선호도에 대한 완전한 지식을 전제로 하는 단일 목표 베이지안 최적화의 한계를 해결하기 위해.
• 추정 오차로 인해 부분적으로 최적의 설계로 이어질 수 있는 점추정 기반 선호 학습의 취약성을 극복하기 위해.
• 쌍별 비교를 통해 선호도를 능동적으로 학습하면서도 유틸리티 추정의 불확실성을 유지하는 방법을 개발하기 위해.
• 단일 '최고' 설계가 아닌, 의사결정자의 불확실한 선호도에 맞는 다양한 고품질 설계 목록을 생성하기 위해.
• 비용이 많이 드는 함수 평가 횟수를 줄이기 위해, 속성 공간에서 가장 선호되는 영역에 집중하여 최적화를 수행하기 위해.

제안 방법

• 의사결정자의 유틸리티 함수를 쌍별 선호 피드백을 통해 갱신되는 유틸리티 매개변수에 대한 베이지안 사후분포로 모델링한다.
• 블랙박스 속성 함수 f(x) ∈ ℝᵏ를 다중 출력 가우시안 프로세스로 모델링하여 속성 예측의 불확실성을 포괄한다.
• 유틸리티 함수의 불확실성을 명시적으로 고려하는 두 가지 새로운 할당 함수인 EI-UU와 TS-UU를 도입한다.
• 비편향된 기울기를 계산하기 위해 시뮬레이션 기반 기울기 추정기를 사용하여 EI-UU를 최대화하는 데 있어 확률적 최적화를 가능하게 한다.
• 최적화 중에 선호도를 점진적으로 갱신할 수 있도록 지원하여, 새로운 판단이 들어올 때마다 유틸리티 신뢰도를 모델이 개선할 수 있도록 한다.
• 의사결정자가 선택할 수 있는 최종 설계 목록을 출력하며, 이는 불확실성 인식 기반의 탐색과 이용을 반영한다.

실험 결과

연구 질문

• RQ1 의사결정자의 유틸리티 함수가 불확실하고 상호작용을 통해 학습되어야 할 때, 다중 속성 목표를 다룰 수 있도록 베이지안 최적화를 어떻게 확장할 수 있는가?
• RQ2 유틸리티 불확실성을 고려한 할당 함수가 기존의 점추정 기반 할당 함수보다 강건성과 최종 유틸리티 측면에서 뛰어나게 작용할 수 있는가?
• RQ3 다중 목표 또는 단일 목표 접근법에 비해, 선호 학습은 비용이 많이 드는 함수 평가 횟수를 얼마나 줄일 수 있는가?
• RQ4 진정한 유틸리티 함수가 알려져 있지 않고, 쌍별 비교를 통해 부분적으로 관찰될 뿐일 때, 제안된 방법은 탐색과 이용을 어떻게 균형 있게 조절하는가?
• RQ5 이 방법은 단일 설계 추천보다 의사결정자의 진정한 선호도를 더 잘 반영하는 다양한 고품질 설계 목록을 생성할 수 있는가?

주요 결과

• 제안된 EI-UU 및 TS-UU 할당 함수는 기존의 점추정 기반 접근에 비해 유틸리티 추정 오차에 대한 강건성이 크게 향상된다.
• 학습된 선호도에 기반해 가장 선호되는 속성 공간 영역에 집중함으로써, 필요한 함수 평가 횟수를 줄였다.
• 합성 실험에서, 이 방법은 설계 목록에서 선택함으로써 근접 최적의 유틸리티를 달성했으며, 선호도 불확실성 하에서 단일 설계 최적화에 비해 뛰어난 성능을 보였다.
• 이론적 분석을 통해 EI-UU는 볼록이고 비감소하는 유틸리티 함수 하에서 고전적 기대 개선도의 바람직한 탐색-이용 균형을 유지함을 입증했다.
• EI-UU를 위한 시뮬레이션 기반 기울기 추정기는 함수의 복잡성에도 불구하고 효과적인 최적화를 가능하게 하여, 이 방법의 계산 가능성을 확보했다.
• 이 방법은 전통적인 베이지안 최적화를 상호작용형 선호 학습이 가능한 다중 속성 환경으로 일반화하여, 파레토 경계 추정의 실용적 대안을 제공한다.