[논문 리뷰] Sequential Preference-Based Optimization

Ian Dewancker, Jakob Bauer외 1명|arXiv (Cornell University)|2018. 01. 09.

Advanced Multi-Objective Optimization Algorithms참고 문헌 11인용 수 4

한 줄 요약

이 논문은 사용자가 보고한 동점(동일 선호도)을 처리할 수 있도록 가우시안 프로세스 기반 선호 모델을 확장한 오픈소스 라이브러리인 PrefOpt을 소개한다. 일반화된 브래드리-테일러 모델을 통해 정밀도 파라미터 β를 활용해 동점 피드백을 통합함으로써, 특히 자율주행차 운동 계획과 같은 청각적 지표에서 인간이 참여하는 최적화의 강건성을 향상시키며, 기대 개선도 확보 함수를 사용한 합성 테스트 함수에 대한 기준선 대비 뛰어난 수렴 성능을 입증한다.

ABSTRACT

Many real-world engineering problems rely on human preferences to guide their design and optimization. We present PrefOpt, an open source package to simplify sequential optimization tasks that incorporate human preference feedback. Our approach extends an existing latent variable model for binary preferences to allow for observations of equivalent preference from users.

연구 동기 및 목표

• 정량적 성능 지표를 정의하기 어려운 복잡한 공학 시스템을 최적화하는 데 도전하는 것, 특히 인간의 인지가 핵심 역할을 할 경우.
• 기존의 선호 기반 최적화 모델을 사용자가 구성 간 동등성(동점)을 보고한 경우를 지원하도록 확장하여 실세계 응용에서의 강건성을 향상시키는 것.
• 인간 피드백을 활용한 순차적 선호 기반 최적화의 구현을 단순화하는 오픈소스 소프트웨어 라이브러리인 PrefOpt를 개발하는 것.
• 단순 비교 피드백만을 사용하여 합성 테스트 함수를 최소화하는 데 있어 제안된 모델과 확보 함수의 효과성을 평가하는 것.

제안 방법

• 이중 선호 모델을 삼중 결과 일반화 브래드리-테일러 모델로 확장하여 '더 좋음', '더 나쁨', '동일함' 선호를 허용하는 동점 파라미터 β를 사용한다.
• 함수 값에 대한 잠재 가우시안 프로세스 사전분포를 사용하며, 길이 척도는 양수를 보장하기 위해 시그모이드 변환을 거친 비제약 정규 변수에서 변환한다.
• 확률적 추론을 위해 평균 필드 근사를 사용하는 변분 추론을 적용하며, 확장 가능한 추론을 위해 Edward를 활용한다.
• 탐색과 이용의 균형을 이루기 위해 다음 쿼리 포인트를 선택하기 위해 기대 개선도(EI) 확보 함수를 사용한다.
• 사용자가 한 번에 두 개의 구성 간 비교를 수행하고, 각 피드백 이후 선호 지도에 대한 모델의 믿음이 갱신되는 순차 최적화 루프를 구현한다.
• 배치 쿼리 전략을 지원하며, 실세계 환경에서의 상호작용 최적화를 위한 사용자 友好的 API 와 통합한다.

실험 결과

연구 질문

• RQ1 사용자가 보고한 동점(동일 선호도)을 지원하는 선호 모델이 인간이 참여하는 최적화의 강건성과 수렴 성능을 향상시킬 수 있는가?
• RQ2 이중 선호 모델 대비 동점 피드백을 포함한 경우 최적화 성능에 어떤 영향을 미치는가?
• RQ3 기대 개선도 확보 함수가 동점 지원이 있는 선호 기반 최적화에서 순수 탐색 및 무작위 탐색보다 우수한가?
• RQ4 합성 테스트 함수에서 다양한 동등성 허용 수준에 대해 이 방법이 얼마나 잘 일반화되는가?

주요 결과

• 기대 개선도 확보 함수는 모든 테스트된 합성 테스트 함수에서 순수 탐색 및 무작위 탐색을 모두 압도하며, 최적 구성으로의 수렴 속도가 더 빠름을 입증하였다.
• 동등성에 대한 낮은(ε=0.001) 및 높은(ε=0.1) 허용 수준 모두에서 강건한 성능을 달성하여 사용자 일관성 부족에 대한 저항력을 보였다.
• 일반화된 브래드리-테일러 모델을 통한 동점 피드백 통합으로 모델 교정이 향상되고 선호 판단에 대한 과신이 감소하였으며, 특히 사용자가 선택지를 구분하기 어려운 경우에 두드러졌다.
• PrefOpt 라이브러리는 최소한의 사용자 부담(쌍별 비교 및 동등성 피드백만 필요)으로 효율적이고 상호작용 가능한 최적화를 성공적으로 가능케 하였다.