[논문 리뷰] Interactive Preference Learning of Utility Functions for Multi-Objective Optimization

Ian Dewancker, Michael McCourt외 1명|arXiv (Cornell University)|2016. 12. 14.

Machine Learning and Algorithms참고 문헌 8인용 수 8

한 줄 요약

이 논문은 다목적 최적화에서 스칼라 값의 유틸리티 함수를 위한 생성 모델을 제안하며, 스테이크홀더 선호도를 표현하기 위해 베타 누적분포함수의 곱을 사용한다. 이는 이진 선호 질의를 통한 상호작용형 액티브 러닝을 활용하여 유틸리티 추정치를 순차적으로 개선하며, 다양한 테스트 케이스(예: F-스코어 및 제약 조건이 있는 목표)에서 실제 유틸리티 함수와 높은 상관관계(최대 0.96)를 달성한다.

ABSTRACT

Real-world engineering systems are typically compared and contrasted using multiple metrics. For practical machine learning systems, performance tuning is often more nuanced than minimizing a single expected loss objective, and it may be more realistically discussed as a multi-objective optimization problem. We propose a novel generative model for scalar-valued utility functions to capture human preferences in a multi-objective optimization setting. We also outline an interactive active learning system that sequentially refines the understanding of stakeholders ideal utility functions using binary preference queries.

연구 동기 및 목표

• 정확도와 비용과 같은 경쟁적 메트릭을 균형 잡는 데서 인간의 암묵적 선호도를 모델링하는 데 도전하는 문제를 해결하기 위해.
• 비선형적 트레이드오프와 제약 조건(예: 정밀도-재현율 균형 또는 임계값 요구사항)을 포괄하는 유연하고 생성적인 유틸리티 함수 모델을 개발하기 위해.
• 최소한의 상호작용 수로 정확도를 향상시키면서도 유틸리티 함수를 순차적인 이진 선호 질의를 통해 상호작용형으로 액티브 러닝할 수 있도록 하기 위해.
• 모델이 비선형적, 제약 조건이 있는, F-스코어 스타일의 목표와 같은 복잡한 유틸리티 구조를 시뮬레이션된 인간 선호도를 통해 복원할 수 있는 능력을 검증하기 위해.

제안 방법

• 유틸리티 함수는 각각 형상 매개수 α와 β로 매개변수화된 베타 분포의 누적분포함수(CDF)에서 유도된 개별 유틸리티 함수의 곱으로 모델링된다.
• 유연하고 비음수인 형상 학습과 불확실성 정량화를 가능하게 하기 위해 log(α)와 log(β)에 로그정규 prior를 적용한다.
• 스테이크홀더는 두 시스템 구성 간의 이진 질의를 통해 선호도를 명시하며, 이는 베이지안 추론을 통해 유틸리티 매개수에 대한 사후분포를 업데이트하는 데 사용된다.
• 액티브 러닝의 획득 함수(무작위, 단일 엔트로피, 쌍-엔트로피)는 진정한 유틸리티에 대한 정보 수확을 극대화하는 다음 질의 쌍을 선택한다.
• 최대화와 최소화를 모두 지원하기 위해 최대화 목표에 대해 CDF를, 최소화 목표에 대해 생존함수(1 - CDF)를 사용한다.
• 모델은 반복 과정에서 평균과 사분위구간을 포함한 개별 유틸리티 함수의 불확실성 인식 시각화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 베타 CDF의 곱으로 구성된 생성 모델이 트레이드오프와 제약 조건을 포함하는 복잡한 실제 유틸리티 함수를 정확히 표현할 수 있는가?
• RQ2 이진 선호 질의를 통한 상호작용형 액티브 러닝이 최소한의 질의 수로 알려지지 않은 유틸리티 함수를 얼마나 효과적으로 복원하는가?
• RQ3 다양한 테스트 케이스에서 다양한 액티브 러닝 획득 전략(무작위, 엔트로피 기반) 간의 성능 비교는 어떻게 되는가?
• RQ4 모델이 F1 및 F2 스코어와 같은 비선형 유틸리티 구조나 임계값 기반 목표를 얼마나 잘 포괄할 수 있는가?
• RQ5 모델이 개별 메트릭에 대해 신뢰할 수 있는 불확실성 추정치를 제공하여 스테이크홀더가 학습 과정을 내省할 수 있는가?

주요 결과

• 쌍-엔트로피 획득 전략은 테스트 유틸리티 함수 max(5f₁f₂/(4f₁ + f₂))에서 평균 켄달 순위 상관관계 0.9120을 달성하여 무작위 및 단일 엔트로피 전략을 능가했다.
• 선형 유틸리티 함수인 max(f₁ + 10f₂)의 경우, 쌍-엔트로피 검색을 사용해 켄달 상관관계 0.9615를 달성하여 선형 트레이드오프의 강력한 복원 능력을 보였다.
• 임계값 제약 조건인 min(f₁)에 대해 f₂ > 0.6 조건을 충족할 때, f₂의 개별 유틸리티가 약 0.6 부근에서 급격히 증가하고 f₁의 유틸리티는 감소하는 것을 성공적으로 포착하여 상관관계 0.6893를 달성했다.
• 복잡한 비선형 목표인 max(2f₁f₂/(f₁ + f₂))에 대해 f₃ > 0.95 조건을 충족할 때조차도 쌍-엔트로피를 사용해 상관관계 0.2648를 달성하여 고차원적 제약 조건에 대한 뛰어난 강건성을 보였다.
• 무작위 검색 기반 베이스라인도 놀랍게 잘 수행되었으며(예: max(f₁ + 2f₂)의 경우 0.8756), 반복적 모델 피팅 없이도 저비용 구현이 복잡도가 낮은 경우에 유력한 대안임을 시사했다.
• 개별 유틸리티 함수의 시각화 결과에서 단조 증가 및 비단조 증가 행동 모두 정확하게 복원되었으며, 최소화 목표에 대한 생존함수도 잘 포착되었다.