[논문 리뷰] A Maximum Likelihood Approach For Selecting Sets of Alternatives

Ariel D. Procaccia, Sashank J. Reddi외 1명|arXiv (Cornell University)|2012. 10. 16.

Multi-Criteria Decision Making참고 문헌 17인용 수 35

한 줄 요약

이 논문은 잡음이 있는 상대적 비교에서 강력한 항목을 포함하거나 다른 목표를 충족시키는 데 가장 가능성이 높은 k개의 대안을 선택하기 위한 최대우도 프레임워크를 제안한다. 고잡음 수준에서 직관적인 선택 방법이 최적임을 보이며, 기존의 순위 매기기 및 선택 이론을 집합 선택으로 일반화하여 증명 가능한 보장을 제공하고 강력한 경험적 성능을 보인다.

ABSTRACT

We consider the problem of selecting a subset of alternatives given noisy evaluations of the relative strength of different alternatives. We wish to select a k-subset (for a given k) that provides a maximum likelihood estimate for one of several objectives, e.g., containing the strongest alternative. Although this problem is NP-hard, we show that when the noise level is sufficiently high, intuitive methods provide the optimal solution. We thus generalize classical results about singling out one alternative and identifying the hidden ranking of alternatives by strength. Extensive experiments show that our methods perform well in practical settings.

연구 동기 및 목표

• 오직 잡음이 있는 상대적 비교만 제공될 때 k개의 대안을 선택하는 데 도전하는 것.
• 불확실성 하에서 가장 가능성이 높은 집합, 즉 가장 강력한 대안을 포함하거나 주어진 목표를 충족시키는 집합을 식별하는 것.
• 단일 항목 선택에 대한 고전적 선택 및 순위 매기기 방법을 단일 항목이 아닌 집합 선택의 경우로 일반화하는 것.
• 간단하고 직관적인 선택 방법이 최적임이 보장되는 이론적 조건을 제공하는 것.
• 실제로 잡음이 있는 비교 환경에서의 성능을 경험적으로 평가하는 것.

제안 방법

• 잡음이 있는 상대적 비교에 기반한 집합 선택 문제를 최대우도 추정 과제로 공식화한다.
• 독립적이고 동일하게 분포된 잡음을 가진 랜덤 유틸리티 모델을 사용해 대안의 강도를 모델링한다.
• empirical 점수가 가장 높은 k개의 대안을 선택할 경우 최대우도 집합이 되는 조건을 도출한다.
• 잡음 수준이 충분히 높을 경우 직관적인 선택 전략이 이론적으로 최적임을 입증한다.
• 다양한 잡음 수준과 문제 인스턴스에서 성능을 평가하기 위해 광범위한 시뮬레이션을 수행한다.
• 후보 k-집합의 우도를 계산하고 가장 가능성이 높은 집합을 선택하기 위해 확률적 순위 매기기 모델을 사용한다.

실험 결과

연구 질문

• RQ1 어떤 조건에서 직관적인 선택 방법—예를 들어 가장 높은 점수를 가진 k개의 항목을 선택하는 것—이 최대우도 k-집합을 제공하는가?
• RQ2 상대적 비교의 잡음 수준이 단순한 선택 히ュ리스틱의 최적성에 어떤 영향을 미치는가?
• RQ3 단일 최고 항목 선택을 위한 최대우도 접근법을 k개 항목의 집합 선택으로 일반화할 수 있는가?
• RQ4 k-집합의 우도와 대안들의 진정한 순위 간의 관계는 무엇인가?
• RQ5 제안된 방법은 실제 세계의 비교 시나리오에서 얼마나 잘 작동하는가?

주요 결과

• 잡음 수준이 충분히 높을 경우, 경험적 점수가 가장 높은 k개의 대안을 선택하는 것이 최대우도 프레임워크 하에서 증명적으로 최적임이 입증된다.
• 이 방법은 단일 항목 선택에 대한 고전적 결과를 더 복잡한 집합 선택의 경우로 일반화한다.
• 직관적인 히ュ리스틱은 고잡음 조건에서 최적 성능을 달성하며, 이들의 사용에 대한 이론적 정당성을 제공한다.
• 경험적 평가 결과 다양한 잡음 수준과 문제 인스턴스에서 뛰어난 성능을 보였다.
• k-집합의 우도는 선택된 항목들의 상대적 강도와 그들의 순위에 의존하며, 모델은 이 관계를 확률적 유틸리티 프레임워크를 통해 포착한다.
• 이론적 엄밀함을 유지하면서도 실제 응용에 있어 계산적으로 실용적인 방법을 제공한다.