[논문 리뷰] Maximum Selection and Sorting with Adversarial Comparators and an Application to Density Estimation

Jayadev Acharya, Moein Falahatgar외 3명|arXiv (Cornell University)|2016. 06. 09.

Machine Learning and Algorithms참고 문헌 13인용 수 4

한 줄 요약

이 논문은 입력 간 차이가 임계값 Δ를 초과할 경우에만 더 큰 값을 반환하는 악성 비교자에서 최대값 선택과 정렬을 연구한다. 그렇지 않은 경우 결과는 임의로 선택된다. 비적응형 대상자 모델에서는 최대값 선택에 대해 평균적으로 최대 2n번의 비교를 사용하는 효율적인 알고리즘을 제안하며, 정렬에 대해서는 평균적으로 2n ln n번의 비교를 사용한다. 적응형 대상자 모델에서는 최대값 선택에 대해 O(n log(1/ε))번의 비교로 정확도가 1−ε 이상이 되도록 보장한다. 이는 열린 문제를 해결하고, 동일한 근사 보장을 유지하면서 더 빠른 밀도 추정을 가능하게 한다.

ABSTRACT

We study maximum selection and sorting of $n$ numbers using pairwise comparators that output the larger of their two inputs if the inputs are more than a given threshold apart, and output an adversarially-chosen input otherwise. We consider two adversarial models. A non-adaptive adversary that decides on the outcomes in advance based solely on the inputs, and an adaptive adversary that can decide on the outcome of each query depending on previous queries and outcomes. Against the non-adaptive adversary, we derive a maximum-selection algorithm that uses at most $2n$ comparisons in expectation, and a sorting algorithm that uses at most $2n \ln n$ comparisons in expectation. These numbers are within small constant factors from the best possible. Against the adaptive adversary, we propose a maximum-selection algorithm that uses $Θ(n\log (1/ε))$ comparisons to output a correct answer with probability at least $1-ε$. The existence of this algorithm affirmatively resolves an open problem of Ajtai, Feldman, Hassadim, and Nelson. Our study was motivated by a density-estimation problem where, given samples from an unknown underlying distribution, we would like to find a distribution in a known class of $n$ candidate distributions that is close to underlying distribution in $\ell_1$ distance. Scheffe's algorithm outputs a distribution at an $\ell_1$ distance at most 9 times the minimum and runs in time $Θ(n^2\log n)$. Using maximum selection, we propose an algorithm with the same approximation guarantee but run time of $Θ(n\log n)$.

연구 동기 및 목표

• 입력 간 차이가 임계값 Δ를 초과할 경우에만 정확한 비교를 수행하는 악성 비교자 하에서 최대값 선택과 정렬 문제를 해결한다. 그렇지 않은 경우 결과는 임의로 선택된다.
• 비적응형(결과가 사전에 고정됨)과 적응형(이전 질의에 따라 결과가 달라짐) 두 가지 악성 비교자 모델을 분석한다.
• 낮은 비교 복잡도를 가지며, 높은 확률로 정확한 결과를 도출하고, 거의 최적의 성능을 달성하는 알고리즘을 설계한다.
• 밀도 추정에 결과를 적용하여, 기존의 Θ(n² log n)에서 Θ(n log n)으로 런타임을 개선하면서도 9배 근사 보장을 유지한다.

제안 방법

• 비적응형 대상자 모델 하에서 최대값 선택 알고리즘을 제안하며, 평균적으로 최대 2n번의 비교를 사용한다.
• 비적응형 대상자 모델 하에서 정렬 알고리즘을 설계하며, 평균적으로 최대 2n ln n번의 비교를 사용한다.
• 적응형 대상자 모델 하에서 최대값 선택 알고리즘을 도입하며, O(n log(1/ε))번의 비교로 정확도가 1−ε 이상이 되도록 보장한다.
• 랜덤 피봇 선택을 사용하는 퀵정렬을 활용하며, 비적응형 노이즈 하에서 예상 질의 복잡도가 소음이 없는 경우의 성능 f(n) = 2n ln n − (4−2γ)n + 2 ln n + O(1)로 제한됨을 보인다.
• 입력 간 차이가 Δ를 초과할 경우, 퀵정렬이 악성 비교자 하에서도 2-근사 오차가 0인 것을 증명한다.
• 후보 분포를 샘플 기반의 거리 추정을 통해 비교 가능한 요소로 간주하여 최대값 선택 알고리즘을 밀도 추정에 적용한다.

실험 결과

연구 질문

• RQ1 입력 간 차이가 임계값 Δ를 초과할 경우에만 정확한 비교를 수행하는 악성 비교자 하에서 최대값을 찾기 위해 필요한 최소 비교 횟수는 얼마인가?
• RQ2 특히 비적응형 모델에서 악성 비교자 하에 근사 최적의 비교 복잡도를 가지는 정렬 알고리즘을 설계할 수 있는가?
• RQ3 적응형 대상자 모델은 최대값 선택의 복잡도에 어떤 영향을 미치며, 선형 이하의 질의 오버헤드로 높은 확률 보장을 달성할 수 있는가?
• RQ4 제안된 비교자 모델을 활용하여 근사 품질을 유지하면서도 밀도 추정 알고리즘의 런타임을 향상시킬 수 있는가?
• RQ5 비적응형 비교 모델에서 최적 성능을 보장하는 비교 그래프의 구조적 특성(예: 진입 차수 및 진출 차수)은 무엇인가?

주요 결과

• 비적응형 대상자 모델 하에서 최대값 선택 알고리즘은 평균적으로 최대 2n번의 비교를 사용하며, 이는 정보 이론적 하한선에 매우 가까운 상수 배수 이내이다.
• 비적응형 대상자 모델 하에서 정렬에 대해 제안된 알고리즘은 평균적으로 최대 2n ln n번의 비교를 사용하며, 이는 병합 정렬의 성능과 상수 인자 수준에서 일치한다.
• 적응형 대상자 모델 하에서 최대값 선택 알고리즘은 O(n log(1/ε))번의 비교로 정확도가 1−ε 이상이 되며, Ajtai 등(2015)이 제기한 열린 문제를 해결한다.
• 입력 간 차이가 Δ를 초과할 경우, 퀵정렬이 악성 비교자 하에서도 2-근사 오차가 0인 것을 비교자 행동의 구조 덕분에 유지한다.
• 비적응형 악성 비교자 하에서 퀵정렬의 예상 질의 복잡도는 소음이 없는 경우의 성능 f(n) = 2n ln n − (4−2γ)n + 2 ln n + O(1)로 제한되며, 유리한 피봇 분포 덕분이다.
• 최대값 선택 알고리즘을 밀도 추정에 적용함으로써, 기존의 Scheffé 알고리즘의 Θ(n² log n)에서 Θ(n log n)으로 런타임을 개선하였으며, ℓ₁ 거리에 대한 9배 근사 보장은 그대로 유지한다.