[論文レビュー] Approximate Selection with Unreliable Comparisons in Optimal Expected Time

Shengyu Huang, Chih-Hung Liu+1 more|arXiv (Cornell University)|May 3, 2022

Machine Learning and Algorithms被引用数 2

ひとこと要約

本稿では、各比較が定数確率で独立に失敗するという信頼性の低い比較の下での近似選択のための確率的アルゴリズムを提示する。このアルゴリズムは、成功確率が1−Q以上である限り、順位 (k−nε, k+nε] の範囲に収まる要素を、期待時間 O(k/(nε²) log(1/Q)) で選択する。また、この下界が一致することを証明し、高確率保証のもとでも最小値の近似とk番目の最小値の近似の間には明確な複雑性ギャップが存在することが示された。

ABSTRACT

Given $n$ elements, an integer $k$ and a parameter $\varepsilon$, we study to select an element with rank in $(k-n\varepsilon,k+n\varepsilon]$ using unreliable comparisons where the outcome of each comparison is incorrect independently with a constant error probability, and multiple comparisons between the same pair of elements are independent. In this fault model, the fundamental problems of finding the minimum, selecting the $k$-th smallest element and sorting have been shown to require $Θ\big(n \log \frac{1}{Q}\big)$, $Θ\big(n\log \frac{\min\{k,n-k\}}{Q}\big)$ and $Θ\big(n\log \frac{n}{Q}\big)$ comparisons, respectively, to achieve success probability $1-Q$. Recently, Leucci and Liu proved that the approximate minimum selection problem ($k=0$) requires expected $Θ(\varepsilon^{-1}\log \frac{1}{Q})$ comparisons. We develop a randomized algorithm that performs expected $O(\frac{k}{n}\varepsilon^{-2} \log \frac{1}{Q})$ comparisons to achieve success probability at least $1-Q$. We also prove that any randomized algorithm with success probability at least $1-Q$ performs expected $Ω(\frac{k}{n}\varepsilon^{-2}\log \frac{1}{Q})$ comparisons. Our results indicate a clear distinction between approximating the minimum and approximating the $k$-th smallest element, which holds even for the high probability guarantee, e.g., if $k=\frac{n}{2}$ and $Q=\frac{1}{n}$, $Θ(\varepsilon^{-1}\log n)$ versus $Θ(\varepsilon^{-2}\log n)$. Moreover, if $\varepsilon=n^{-α}$ for $α\in (0,\frac{1}{2})$, the asymptotic difference is almost quadratic, i.e., $ ildeΘ(n^α)$ versus $ ildeΘ(n^{2α})$.

研究の動機と目的

• 比較が定数確率で独立に失敗するという故障モデルにおける近似選択の複雑性を調査すること。
• この故障モデルにおいて、最小値の近似とk番目の最小値の近似の間に根本的な複雑性ギャップが存在するかを特定すること。
• 高い成功確率で近似k選択のための最適期待比較複雑度を達成する確率的アルゴリズムを設計すること。
• 情報理論的議論と尾確率解析を用いて、Ω(k/(nε²) log(1/Q)) の下界を証明し、提案されたアルゴリズムの最適性を確立すること。

提案手法

• m = Θ(k/(nε²) log(1/Q)) 個の要素をサンプリングし、そのサンプルに対して選択アルゴリズムを適用して、近似k番目の最小値要素を特定する。
• 集中不等式と超幾何分布の尾確率不等式を用いて、サンプルされた要素が順位 (k−nε, k+nε] の範囲内にある確率を高確率で保証する。
• Kullback-Leibler発散とエントロピー不等式を活用し、超幾何確率変数のタイトな尾確率推定値を導出する。
• 超幾何分布の尾の精密解析を応用し、失敗確率を抑え、最適な O(k/(nε²) log(1/Q)) の期待比較回数を導出する。
• 情報理論的議論と尾確率解析を用いて、Ω(k/(nε²) log(1/Q)) の一致する下界を証明する。
• k/(nε²) = Ω((log log(1/Q))²) のとき最適となる、O(k/(nε²) log(1/Q) + (log(1/Q))(log log(1/Q))²) の比較回数を達成する副産物の決定的アルゴリズムを提示する。

実験結果

リサーチクエスチョン

• RQ1 信頼性の低い比較の下で、近似最小値選択と近似k番目の最小値選択の間に顕著な複雑性ギャップが存在するか？
• RQ2 成功確率 1−Q で、期待比較回数 O(k/(nε²) log(1/Q)) で近似k選択を解けるか？
• RQ3 高確率保証（Q=1/n）のもとでも、近似選択の複雑性がkに依存する形で最小値選択とは明確に区別されるか？
• RQ4 近似最小値の場合と同様に、比較回数に log(1/Q) 項を余分な対数係数なしに達成できるか？
• RQ5 この故障モデル下での近似k選択の最適決定的比較複雑度は何か？

主な発見

• 提案された確率的アルゴリズムは、成功確率が1−Q以上である限り、FT-APX(k, ε) 問題を期待比較回数 O(k/(nε²) log(1/Q)) で解く。
• 一致する下界 Ω(k/(nε²) log(1/Q)) が証明され、アルゴリズムの最適性が確立された。
• 同じ故障モデルのもとで、最小値の近似（Θ(ε⁻¹ log(1/Q)))）とk番目の最小値の近似（Θ(ε⁻² log(1/Q)))）の間には明確な複雑性の違いが存在する。
• k = n/2 かつ Q = 1/n のとき、複雑性ギャップは Θ(ε⁻¹ log n) 対 Θ(ε⁻² log n) であり、ε = n⁻α（α ∈ (0, 1/2)）のとき、漸近的に2乗の差が生じる。
• k/(nε²) = Ω((log log(1/Q))²) のとき最適となる、O(k/(nε²) log(1/Q) + (log(1/Q))(log log(1/Q))²) の比較回数を達成する決定的アルゴリズムを提示した。
• タイトな超幾何分布の尾確率の境界を、Kullback-Leibler発散とエントロピー不等式を用いて導出し、最適な比較回数を導出している。