[논문 리뷰] Approximate Selection with Unreliable Comparisons in Optimal Expected Time

Shengyu Huang, Chih-Hung Liu외 1명|arXiv (Cornell University)|2022. 05. 03.

Machine Learning and Algorithms인용 수 2

한 줄 요약

이 논문은 각 비교가 일정 확률로 독립적으로 실패하는 비신뢰성 있는 비교 환경에서 근사 선택을 위한 랜덤화 알고리즘을 제시한다. 이 알고리즘은 성공 확률이 최소 1−Q인 동안 순위 (k−nε, k+nε] 내의 원소를 선택하는 데 최적의 기대 시간 O(k/(nε²) log(1/Q))을 달성하며, 이에 대응하는 하한선을 증명하여, 고확률 보장 하에서도 최소값 근사와 k번째로 작은 원소 근사 간의 명확한 복잡도 격차를 규명한다.

ABSTRACT

Given $n$ elements, an integer $k$ and a parameter $\varepsilon$, we study to select an element with rank in $(k-n\varepsilon,k+n\varepsilon]$ using unreliable comparisons where the outcome of each comparison is incorrect independently with a constant error probability, and multiple comparisons between the same pair of elements are independent. In this fault model, the fundamental problems of finding the minimum, selecting the $k$-th smallest element and sorting have been shown to require $Θ\big(n \log \frac{1}{Q}\big)$, $Θ\big(n\log \frac{\min\{k,n-k\}}{Q}\big)$ and $Θ\big(n\log \frac{n}{Q}\big)$ comparisons, respectively, to achieve success probability $1-Q$. Recently, Leucci and Liu proved that the approximate minimum selection problem ($k=0$) requires expected $Θ(\varepsilon^{-1}\log \frac{1}{Q})$ comparisons. We develop a randomized algorithm that performs expected $O(\frac{k}{n}\varepsilon^{-2} \log \frac{1}{Q})$ comparisons to achieve success probability at least $1-Q$. We also prove that any randomized algorithm with success probability at least $1-Q$ performs expected $Ω(\frac{k}{n}\varepsilon^{-2}\log \frac{1}{Q})$ comparisons. Our results indicate a clear distinction between approximating the minimum and approximating the $k$-th smallest element, which holds even for the high probability guarantee, e.g., if $k=\frac{n}{2}$ and $Q=\frac{1}{n}$, $Θ(\varepsilon^{-1}\log n)$ versus $Θ(\varepsilon^{-2}\log n)$. Moreover, if $\varepsilon=n^{-α}$ for $α\in (0,\frac{1}{2})$, the asymptotic difference is almost quadratic, i.e., $ ildeΘ(n^α)$ versus $ ildeΘ(n^{2α})$.

연구 동기 및 목표

• 비교가 일정 확률로 독립적으로 실패하는 장애 모델 하에서 근사 선택의 복잡도를 연구한다.
• 이 장애 모델 하에서 최소값 근사와 k번째로 작은 원소 근사 간에 본질적인 복잡도 격차가 존재하는지 규명한다.
• 고성공 확률 하에서 근사 k선택에 대해 최적의 기대 비교 복잡도를 달성하는 랜덤화 알고리즘을 설계한다.
• 정보 이론적 접근과 尾확률 분석을 통해, 제안된 알고리즘의 최적성을 입증하는 매칭 하한선을 증명한다.

제안 방법

• m = Θ(k/(nε²) log(1/Q))개의 요소를 샘플링하고, 이 샘플에 대해 선택 알고리즘을 적용하여 근사적인 k번째로 작은 원소를 찾는 랜덤화 알고리즘을 설계한다.
• 집중도 불등식과 초기하분포 尾확률 부등식을 사용하여, 샘플링된 원소의 순위가 고정확도로 (k−nε, k+nε] 범위 내에 있을 확률를 보장한다.
• Kullback-Leibler 발산과 엔트로피 부등식을 활용하여, 초기하분포 랜덤 변수의 엄밀한 尾확률 추정치를 유도한다.
• 초기하분포 꼬리의 정교한 분석을 적용하여 실패 확률를 제한하고, 최적의 O(k/(nε²) log(1/Q)) 기대 비교 횟수를 유도한다.
• 정보 이론적 논증과 尾확률 분석을 통해, Ω(k/(nε²) log(1/Q))의 매칭 하한선을 증명한다.
• k/(nε²) = Ω((log log(1/Q))²)일 때 최적인 O(k/(nε²) log(1/Q) + (log(1/Q))(log log(1/Q))²) 비교 횟수를 달성하는 부산물로 얻어진 결정론적 알고리즘을 사용한다.

실험 결과

연구 질문

• RQ1 비신뢰성 있는 비교 하에서 근사 최소값 선택과 근사 k번째로 작은 원소 선택 간에 상당한 복잡도 격차가 존재하는가?
• RQ2 성공 확률 1−Q로 근사 k선택을 기대 비교 횟수 O(k/(nε²) log(1/Q)) 내에서 해결할 수 있는가?
• RQ3 고확률 보장(Q=1/n) 하에서도, 근사 선택의 복잡도가 k에 따라 최소값 선택과 구분되는 방식으로 영향을 받는가?
• RQ4 근사 최소값의 경우와 마찬가지로, 비교 횟수에 등장하는 log(1/Q) 항을 추가적인 로그 인자 없이 달성할 수 있는가?
• RQ5 이 장애 모델 하에서 근사 k선택에 대해 최적의 결정론적 비교 복잡도는 무엇인가?

주요 결과

• 제안된 랜덤화 알고리즘은 성공 확률 최소 1−Q로 FT-APX(k, ε) 문제를 해결하기 위해 기대적으로 O(k/(nε²) log(1/Q))번의 비교를 수행한다.
• 매칭 하한선 Ω(k/(nε²) log(1/Q))이 증명되어 알고리즘의 최적성이 입증된다.
• 동일한 장애 모델 하에서 최소값 근사(Θ(ε⁻¹ log(1/Q)))와 k번째로 작은 원소 근사(Θ(ε⁻² log(1/Q))) 간에 명확한 복잡도 차이가 존재한다.
• k = n/2 이고 Q = 1/n일 경우, 복잡도 격차는 Θ(ε⁻¹ log n) 대비 Θ(ε⁻² log n)이며, ε = n⁻α (α ∈ (0, 1/2))일 때 이는 제곱 수준의 점근적 차이를 보인다.
• k/(nε²) = Ω((log log(1/Q))²)일 때 최적인 O(k/(nε²) log(1/Q) + (log(1/Q))(log log(1/Q))²) 비교 횟수를 달성하는 결정론적 알고리즘이 제시된다.
• 분석은 Kullback-Leibler 발산과 엔트로피 부등식을 활용한 엄밀한 초기하분포 꼬리 bound에 기반하여 최적의 비교 횟수를 도출한다.