[论文解读] Maximum Selection and Sorting with Adversarial Comparators and an Application to Density Estimation

Jayadev Acharya, Moein Falahatgar+3 more|arXiv (Cornell University)|Jun 9, 2016

Machine Learning and Algorithms参考文献 13被引用 4

一句话总结

本文研究在对抗性比较器下的最大值选择与排序问题，其中比较器仅在输入差异超过阈值Δ时返回较大值，否则结果任意选择。论文提出了高效的算法——在非自适应对抗者模型下，最大值选择的期望比较次数不超过2n，排序的期望比较次数不超过2n ln n；在自适应对抗者模型下，最大值选择的比较次数为O(n log(1/ε))，实现了高概率正确性，解决了长期开放的问题，并使密度估计的运行时间显著加快，同时保持相同的近似保证。

ABSTRACT

We study maximum selection and sorting of $n$ numbers using pairwise comparators that output the larger of their two inputs if the inputs are more than a given threshold apart, and output an adversarially-chosen input otherwise. We consider two adversarial models. A non-adaptive adversary that decides on the outcomes in advance based solely on the inputs, and an adaptive adversary that can decide on the outcome of each query depending on previous queries and outcomes. Against the non-adaptive adversary, we derive a maximum-selection algorithm that uses at most $2n$ comparisons in expectation, and a sorting algorithm that uses at most $2n \ln n$ comparisons in expectation. These numbers are within small constant factors from the best possible. Against the adaptive adversary, we propose a maximum-selection algorithm that uses $Θ(n\log (1/ε))$ comparisons to output a correct answer with probability at least $1-ε$. The existence of this algorithm affirmatively resolves an open problem of Ajtai, Feldman, Hassadim, and Nelson. Our study was motivated by a density-estimation problem where, given samples from an unknown underlying distribution, we would like to find a distribution in a known class of $n$ candidate distributions that is close to underlying distribution in $\ell_1$ distance. Scheffe's algorithm outputs a distribution at an $\ell_1$ distance at most 9 times the minimum and runs in time $Θ(n^2\log n)$. Using maximum selection, we propose an algorithm with the same approximation guarantee but run time of $Θ(n\log n)$.

研究动机与目标

• 解决在比较器具有对抗性时的最大值选择与排序问题：仅当输入差异超过阈值Δ时比较结果正确，否则结果任意。
• 分析两种对抗性模型：非自适应模型（结果预先固定）与自适应模型（结果依赖于先前查询）。
• 设计比较复杂度低的算法，实现高概率正确性与接近最优的性能。
• 将结果应用于密度估计，将运行时间从Θ(n² log n)提升至Θ(n log n)，同时保持9倍近似保证。

提出的方法

• 提出一种最大值选择算法，在非自适应对抗者模型下，期望比较次数不超过2n。
• 设计一种排序算法，在非自适应对抗者模型下，期望比较次数不超过2n ln n。
• 提出一种在自适应对抗者模型下，使用O(n log(1/ε))次比较的最大值选择算法，实现至少1−ε的概率正确性。
• 利用随机化枢轴的快速排序，证明其期望查询复杂度在非自适应噪声下被限制在无噪声情况（f(n) = 2n ln n − (4−2γ)n + 2 ln n + O(1)）的范围内。
• 证明快速排序在对抗性比较器下保持零2-近似误差，只要输入差异超过Δ，这是由于比较器行为的结构特性。
• 通过基于样本的距离估计将候选分布视为待比较元素，将最大值选择算法应用于密度估计。

实验结果

研究问题

• RQ1 当比较器具有对抗性且仅在输入差异超过Δ时正确时，找到最大元素所需的最少比较次数是多少？
• RQ2 能否设计一种在对抗性比较器下具有近似最优比较复杂度的排序算法，特别是在非自适应模型中？
• RQ3 自适应对抗者模型如何影响最大值选择的复杂度？能否在次线性查询开销下实现高概率正确性保证？
• RQ4 所提出的比较器模型能否用于改进密度估计算法的运行时间，而不牺牲近似质量？
• RQ5 比较图的哪些结构特性（例如入度与出度）能确保在对抗性比较模型中实现最优性能？

主要发现

• 在非自适应对抗者模型下，最大值选择算法的期望比较次数不超过2n，与信息论下限仅相差一个常数因子。
• 在非自适应对抗者模型下的排序中，所提算法的期望比较次数不超过2n ln n，与归并排序的性能在常数因子范围内一致。
• 在自适应对抗者模型下，最大值选择算法通过O(n log(1/ε))次比较实现至少1−ε的概率正确性，解决了Ajtai等人（2015年）提出的一个开放问题。
• 由于比较器行为的结构特性，快速排序在对抗性比较器下保持零2-近似误差，只要输入差异超过Δ。
• 在非自适应对抗者模型下，快速排序的期望查询复杂度被限制在无噪声情况f(n) = 2n ln n − (4−2γ)n + 2 ln n + O(1)的范围内，这是由于枢轴分布的有利特性。
• 将最大值选择算法应用于密度估计，可将运行时间从Θ(n² log n)（Scheffé算法）降低至Θ(n log n)，同时保持ℓ₁距离的9倍近似保证。