[论文解读] Maximum Selection and Ranking under Noisy Comparisons

Moein Falahatgar, Alon Orlitsky+2 more|arXiv (Cornell University)|May 15, 2017

Game Theory and Voting Systems参考文献 8被引用 18

一句话总结

本文提出了一种在噪声比较下针对最大值选择的优化淘汰赛算法，在强随机传递性和随机三角不等式条件下，实现了 ${\cal O}\left(\frac{n}{\epsilon^{2}}\log\frac{1}{\delta}\right)$ 次比较——在常数因子范围内最优。此外，还引入了一种基于归并排序的排序框架，对于 $\delta \geq \frac{1}{n}$ 的情况，实现了 ${\cal O}\left(\frac{n\log n(\log\log n)^3}{\epsilon^2}\right)$ 次比较，最优性仅在 $(\log\log n)^3$ 因子范围内存在差距。

ABSTRACT

We consider $(ε,δ)$-PAC maximum-selection and ranking for general probabilistic models whose comparisons probabilities satisfy strong stochastic transitivity and stochastic triangle inequality. Modifying the popular knockout tournament, we propose a maximum-selection algorithm that uses $\mathcal{O}\left(\frac{n}{ε^2}\log \frac{1}δ ight)$ comparisons, a number tight up to a constant factor. We then derive a general framework that improves the performance of many ranking algorithms, and combine it with merge sort and binary search to obtain a ranking algorithm that uses $\mathcal{O}\left(\frac{n\log n (\log \log n)^3}{ε^2} ight)$ comparisons for any $δ\ge\frac1n$, a number optimal up to a $(\log \log n)^3$ factor.

研究动机与目标

• 解决在比较结果为概率性时，最大值选择与排序的复杂度差距问题。
• 在满足强随机传递性和随机三角不等式的通用概率模型下，设计实现近似最优样本复杂度的算法。
• 通过引入一种新框架，弥补现有排序算法已知界中 $\log n$ 因子的不确定性，从而缩小排序复杂度的理论差距。
• 为 $(\epsilon,\delta)$-PAC 最大值选择与排序提供理论保证，确保在最小比较次数下以高概率获得正确结果。

提出的方法

• 修改淘汰赛算法，使在噪声比较下实现最大值选择的最优 $O\left(\frac{n}{\epsilon^2} \log \frac{1}{\delta}\right)$ 次比较。
• 提出一种结合归并排序与二分查找的通用框架，以提升排序算法的性能。
• 在候选集上采用递归二分查找策略，以有界误差 $\epsilon$ 精炼排序结果。
• 利用集中不等式与联合界（union bounds）确保所有比较结果在高概率下正确。
• 在证明草图中应用法诺不等式（Fano’s inequality）以建立样本复杂度的下界，证明其最优性仅在对数因子范围内存在差距。
• 实现并评估现有算法的变体（如 IR-BTM-PAC），以验证所提方法的优越性。

实验结果

研究问题

• RQ1 在满足强随机传递性和三角不等式的噪声比较下，最大值选择能否实现样本复杂度在常数因子范围内的最优？
• RQ2 在相同概率约束下，排序的最优样本复杂度是多少？能否超越现有算法中 $\log n$ 因子的差距？
• RQ3 能否设计一种通用框架，以提升多种排序算法在噪声比较模型下的性能？
• RQ4 所提出的基于归并排序的排序算法在样本复杂度上与现有 PAC 排序方法（如 BTM-PAC 或 MallowsMPI）相比如何？
• RQ5 所提出的淘汰赛算法在 $\epsilon$ 较小时是否依然具备鲁棒性与高效性，特别是在成对偏好差距较大的情况下？

主要发现

• 所提出的最大值选择算法实现了 $O\left(\frac{n}{\epsilon^2} \log \frac{1}{\delta}\right)$ 次比较，在给定模型假设下达到常数因子范围内的最优。
• 基于归并排序与二分查找框架的排序算法，在 $\delta \geq \frac{1}{n}$ 条件下实现了 $O\left(\frac{n\log n (\log\log n)^3}{\epsilon^2}\right)$ 次比较，最优性仅在 $(\log\log n)^3$ 因子范围内存在差距。
• 实验结果表明，淘汰赛算法显著优于 BTM-PAC 和 MallowsMPI 的变体，尤其在低-$\epsilon$ 范畴表现更优。
• 淘汰赛算法的样本复杂度随 $n$ 几乎线性增长，且在 $\epsilon$ 减小时仍保持稳定，表明其具备良好的鲁棒性。
• IR-BTM-PAC 变体通过改进常数项获得性能提升，但仍逊于所提出的淘汰赛算法。
• 基于法诺不等式的理论分析表明，样本复杂度的下界与上界仅在对数因子范围内存在差距，从而验证了所提算法的最优性。