[논문 리뷰] Hitting the High Notes: Subset Selection for Maximizing Expected Order Statistics

Aranyak Mehta, Uri Nadav외 2명|arXiv (Cornell University)|2020. 12. 14.

Auction Theory and Applications인용 수 8

한 줄 요약

이 논문은 n개의 독립적인 랜덤 변수 중에서 k개만 선택할 수 있을 때, 기대 최댓값 또는 두 번째로 큰 값의 최대화를 위한 서브셋 선택 문제를 다룬다. 기대 최댓값을 최대화하기 위한 PTAS를 제안하고, Planted Clique 가정 하에 두 번째로 큰 값에 대한 강한 근사 불가능성을 증명하며, MHR 분포를 따르는 변수에 대해서는 1/√k 분위수를 사용하는 단순한 점수 기반 규칙이 동시에 두 목표에 대해 상수 요인 근사값을 달성함을 보여준다.

ABSTRACT

We consider the fundamental problem of selecting $k$ out of $n$ random variables in a way that the expected highest or second-highest value is maximized. This question captures several applications where we have uncertainty about the quality of candidates (e.g. auction bids, search results) and have the capacity to explore only a small subset due to an exogenous constraint. For example, consider a second price auction where system constraints (e.g., costly retrieval or model computation) allow the participation of only $k$ out of $n$ bidders, and the goal is to optimize the expected efficiency (highest bid) or expected revenue (second highest bid). We study the case where we are given an explicit description of each random variable. We give a PTAS for the problem of maximizing the expected highest value. For the second-highest value, we prove a hardness result: assuming the Planted Clique Hypothesis, there is no constant factor approximation algorithm that runs in polynomial time. Surprisingly, under the assumption that each random variable has monotone hazard rate (MHR), a simple score-based algorithm, namely picking the $k$ random variables with the largest $1/\sqrt{k}$ top quantile value, is a constant approximation to the expected highest and second highest value, \emph{simultaneously}.

연구 동기 및 목표

• 외부적 용량 제약 조건 하에서 n개의 랜덤 변수 중에서 k개를 선택하여 기대 최댓값 또는 두 번째로 큰 값을 최대화하는 기본 문제를 다루는 것.
• 표준 계산 가정 하에 기대 순서통계량, 특히 두 번째로 큰 값의 최대화 문제의 알고리즘 복잡도를 분석하는 것.
• 단조 위험률(MHR) 가정 하에서 기대 최댓값과 두 번째로 큰 값의 기대값을 동시에 상수 요인 근사 보장을 갖는 점수 기반 선택 규칙을 설계하고 평가하는 것.
• 합성 데이터와 실제 데이터(트위터 좋아요 및 시뮬레이션된 정규분포 포함)에서 다양한 선택 방법—그리디, 점수 기반, 회귀/분위수 모델—의 성능을 평가하는 것.

제안 방법

• 랜덤 변수가 (값, 확률) 쌍으로 명시적으로 기술된 경우 기대 최댓값을 최대화하기 위한 PTAS(Polynomial-Time Approximation Scheme)를 제안한다.
• 근사 최적 성능를 근선형 시간 내에 달성하기 위해 동적 프로그래밍 기법과 함께 이산화 및 반올림 기법을 활용한다.
• MHR 가정 하에 기대 최댓값과 두 번째로 큰 값의 기대값을 동시에 상수 요인 근사값으로 달성하는 점수 기반 알고리즘을 도입하며, 이는 k개의 변수 중에서 1/√k 분위수 값이 가장 큰 변수 k개를 선택하는 방식이다.
• 합성 데이터(다양한 표본 크기를 가진 정규분포)와 실제 트위터 데이터를 대상으로 실증 평가를 수행하며, 몬테카를로 샘플링을 통해 진짜 기대 최댓값과 두 번째 최댓값을 측정한다.
• 트위터 트윗의 특징 표현을 기반으로 Keras와 TensorFlow를 사용해 회귀 및 분위수 모델을 훈련시켜 좋아요 수를 예측하고, 이러한 예측값을 기반으로 후보자들을 순위 매기고 k개를 선택한다.
• KR 방법은 분위수 예측 기반으로 후보를 필터링하고 나머지 데이터로 훈련한 후, 보류된 테스트 청크에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 기대 최댓값을 최대화하기 위한 (1+ε)-근사 보장을 갖는 다항시간 알고리즘을 설계할 수 있는가?
• RQ2 표준 복잡도 가정 하에 기대 두 번째로 큰 값에 대해 상수 요인 근사 알고리즘을 달성하는 것이 가능한가?
• RQ3 단순한 점수 기반 규칙—특히 1/√k 분위수 기반 선택—이 MHR 분포를 따르는 변수에 대해 기대 최댓값과 두 번째로 큰 값의 기대값을 동시에 상수 요인 근사값으로 달성할 수 있는가?
• RQ4 합성 및 실제 데이터에서, 회귀, 분위수 예측, KR 방법과 같은 점수 기반 방법들이 기대 순서통계량을 최대화하는 데 실제로 어떻게 비교되는가?

주요 결과

• 기대 최댓값을 최대화하기 위한 PTAS가 존재하며, 이는 근선형 시간 내에 실행되어 변수 간의 명시적 상호작용이 점수 기반 규칙보다 더 좋은 보장을 가능하게 함을 보여준다.
• Planted Clique 가정 하에, 기대 두 번째로 큰 값에 대해 다항시간 내에 상수 요인 근사 알고리즘을 설계할 수 없으며, 이는 강한 비결정성임을 시사한다.
• MHR 분포를 따르는 랜덤 변수에 대해, 1/√k 분위수 기반 점수 규칙이 동시에 기대 최댓값과 두 번째로 큰 값의 기대값에 대해 상수 요인 근사값을 달성한다.
• 실증 평가 결과, 분위수 및 KR 방법이 합성 데이터와 트위터 데이터에서 단순한 회귀 및 그리디 선택 방법보다 기대 최댓값과 두 번째 최댓값이 높은 서브셋 선택에서 뛰어난 성능을 보였다.
• 트위터 데이터에서, 분위수 방법은 더 작은 표본 수를 가진 후보자들(소규모 데이터)의 비율을 더 높게 선택하면서도 높은 기대 성능를 유지함으로써 데이터 품질 변동에 대한 강건성을 보였다.
• 분위수 예측 기반으로 후보를 필터링하는 KR 방법은 뛰어난 성능을 달성하며, 고변동성 및 저변동성 후보를 균형 있게 선택하여 기준 방법보다 기대 최댓값과 두 번째 최댓값을 향상시켰다.