[논문 리뷰] Multi-objective Bayesian optimisation with preferences over objectives

Majid Abdolshah, Alistair Shilton외 3명|arXiv (Cornell University)|2019. 02. 12.

Advanced Multi-Objective Optimization Algorithms참고 문헌 34인용 수 9

한 줄 요약

이 논문은 사용자가 지정한 선호도 순서 제약 조건—특정 목표의 안정성 우선 순위—를 반영하기 위해 히퍼볼륨 획득 함수를 기반으로 한 기울기 기반 안정성 추정치에 따라 가중치를 적용하는 다목적 베이지안 최적화 프레임워크를 제안한다. 이 방법은 목표 공간에 대한 사전 지식이 필요 없이 이러한 선호도를 만족하는 파레토 최적 해를 효율적으로 타겟으로 삼으며, 합성 문제와 신경망 하이퍼파rameter 튜닝과 같은 실제 문제에서 기준 방법보다 뛰어난 성능을 보인다.

ABSTRACT

We present a multi-objective Bayesian optimisation algorithm that allows the user to express preference-order constraints on the objectives of the type "objective A is more important than objective B". These preferences are defined based on the stability of the obtained solutions with respect to preferred objective functions. Rather than attempting to find a representative subset of the complete Pareto front, our algorithm selects those Pareto-optimal points that satisfy these constraints. We formulate a new acquisition function based on expected improvement in dominated hypervolume (EHI) to ensure that the subset of Pareto front satisfying the constraints is thoroughly explored. The hypervolume calculation is weighted by the probability of a point satisfying the constraints from a gradient Gaussian Process model. We demonstrate our algorithm on both synthetic and real-world problems.

연구 동기 및 목표

• 기존의 다목적 베이지안 최적화 방법이 모든 목표를 동일하게 중요하게 여긴다는 한계를 해결하기 위해, 사용자가 명확한 선호도 순서를 가질 수 있도록 하는 것.
• 사용자가 정의한 선호도 순서 제약 조건(예: '목표 A는 목표 B보다 더 안정적(따라서 더 중요함)')을 통합하여 파레토 프론트의 효율적 탐색을 가능하게 하는 것.
• 기존의 선호도 기반 접근 방식과 달리 목표 공간에 대한 사전 지식이나 사전에 정의된 선호 영역이 필요로 하지 않는 방법을 개발하는 것.
• 비용이 많이 들고 검은 상자인 최적화 문제에서 샘플 효율성을 향상시키기 위해 안정성 기반 선호도 제약 조건을 만족하는 파레토 최적 해에 집중하는 것.

제안 방법

• 목표의 기울기 크기의 상대적 크기를 통해 선호도 순서 제약 조건을 수식화한다: 기울기 크기가 작을수록 안정성이 높고, 따라서 선호도가 높아진다.
• 기울기 가우시안 프로세스 모델에서 유도된 선호도 제약 조건을 만족할 확률에 따라 후보 점을 가중치 적용하는 새로운 도메인 내 기대 개선도(EHI) 획득 함수를 도입한다.
• 제약 조건 확률을 고려하여 히퍼볼륨 계산을 수정함으로써, 최적화 과정에서 선호도 제약 조건을 만족하는 점들이 우선순위를 가지도록 보장한다.
• 제약 조건 공간의 기하학적 해석을 통해 선호되는 목표가 더 높은 안정성을 보이는 파레토 프론트의 유효 영역을 정의한다.
• 비원뿔형 제약 조건(예: s₀ > s₁ 및 s₂ > s₁)을 포함한 복잡한 선호도 구조를 처리하기 위해 각 제약 조건을 독립적으로 다루고 결과를 통합한다.
• 이 방법은 합성 테스트 함수와 신경망 하이퍼파rameter 튜닝과 같은 실제 문제에 적용되며, MOBO-RS 및 기타 기준 방법과의 성능 비교가 이루어진다.

실험 결과

연구 질문

• RQ1 목표 공간에 대한 사전 지식이 필요 없이 사용자가 지정한 목표 안정성에 대한 선호도 순서 제약 조건을 통합함으로써 다목적 베이지안 최적화를 향상시킬 수 있는가?
• RQ2 선호도 기반 제약 조건을 만족하는 파레토 최적 해를 우선순위로 삼기 위해 히퍼볼륨 획득 함수를 어떻게 수정할 수 있는가?
• RQ3 선호도가 존재할 경우 기존의 다목적 최적화에 비해 제안된 방법이 샘플 효율성과 수렴 속도를 얼마나 향상시키는가?
• RQ4 특히 비원뿔형 또는 겹치는 제약 조건일 경우, 방법이 다양한 선호도 제약 조건 정의에 얼마나 강건한가?
• RQ5 실제로 비용이 많이 들고 검은 상자인 문제, 예를 들어 신경망 하이퍼파rameter 튜닝에서, 안정적이고 선호되는 파레토 프론트 영역을 효과적으로 식별할 수 있는가?

주요 결과

• 제안된 방법은 사용자가 지정한 선호도 순서 제약 조건(예: 선호 목표에서 더 높은 안정성)을 만족하는 파레토 최적 해를 성공적으로 식별하였으며, 이는 합성 2차원 및 3차원 테스트 케이스에서 입증되었다.
• 비엔넷 함수 테스트 케이스에서, 비원뿔형 제약 조건이 존재하더라도 선호 목표(예: s₁ > s₀일 때 f₁)에서 더 안정적인 파레토 프론트를 생성하였다.
• MNIST에서 신경망 하이퍼파rameter 튜닝의 경우, MOBO-RS가 경계 상자에 대한 사전 지식이 필요로 하였던 것과 달리, 제안된 방법은 안정적인 테스트 시간 범위(0–5) 내에서 더 많은 파레토 최적 해를 발견하였다.
• 선호 영역에 대한 사전 지식이 없음에도 불구하고, 솔루션의 다양성과 선호 목표의 안정성 측면에서 MOBO-RS보다 우수한 성능을 보였다.
• 결과적으로, 제안된 방법은 비원뿔형 제약 조건(예: s₀ > s₁ 및 s₂ > s₁)을 독립적인 구성 요소로 분해하고 결과를 통합함으로써 복잡한 선호도 제약 조건을 효과적으로 처리할 수 있었다.
• 제안된 방법을 통해 얻은 평균 파레토 프론트는 비선호도 인식 기준 방법과 비교해 사용자 선호도와 더 잘 일치하였으며, 특히 안정성과 제약 조건 이행 측면에서 뚜렷한 우수성을 보였다.