[论文解读] Worst-case vs Average-case Design for Estimation from Fixed Pairwise Comparisons

Ashwin Pananjady, Cheng Mao+3 more|arXiv (Cornell University)|Jul 19, 2017

Optimal Experimental Design Methods参考文献 42被引用 13

一句话总结

本文研究在强随机传递性（SST）和噪声排序模型下，从固定成对比较拓扑中估计比较概率的问题。它揭示了一个根本性的二分法：在最坏情况设计（任意项目-拓扑分配）下，一致估计不可能实现；但在平均情况设计（随机分配）下，一致估计成为可能，此时两种估计器的误差风险仅取决于拓扑的度序列。

ABSTRACT

Pairwise comparison data arises in many domains, including tournament rankings, web search, and preference elicitation. Given noisy comparisons of a fixed subset of pairs of items, we study the problem of estimating the underlying comparison probabilities under the assumption of strong stochastic transitivity (SST). We also consider the noisy sorting subclass of the SST model. We show that when the assignment of items to the topology is arbitrary, these permutation-based models, unlike their parametric counterparts, do not admit consistent estimation for most comparison topologies used in practice. We then demonstrate that consistent estimation is possible when the assignment of items to the topology is randomized, thus establishing a dichotomy between worst-case and average-case designs. We propose two estimators in the average-case setting and analyze their risk, showing that it depends on the comparison topology only through the degree sequence of the topology. The rates achieved by these estimators are shown to be optimal for a large class of graphs. Our results are corroborated by simulations on multiple comparison topologies.

研究动机与目标

• 研究在基于排列的模型（如强随机传递性（SST）和噪声排序）下，从固定成对比较拓扑中一致估计比较概率的可行性。
• 识别在成对比较有限的条件下，一致估计可能成立的条件。
• 在估计一致性和风险方面，建立最坏情况与平均情况设计之间的显著对比。
• 在平均情况设定下提出并分析具有最优风险率的高效估计器。
• 通过图的度序列表征估计误差对比较拓扑的依赖关系。

提出的方法

• 使用由图G定义的固定比较拓扑形式化问题，其中边表示观测到的成对比较。
• 将强随机传递性（SST）和噪声排序模型引入为参数化模型（如Bradley-Terry模型）的非参数、基于排列的替代方案。
• 通过基于生成树和汉明距离的打包论证，利用Fano型不等式，证明在最坏情况设定下一致估计不可能实现。
• 在项目分配至拓扑为随机化的平均情况设定下，提出两种估计器——最小二乘估计器和定制化估计器。
• 使用Dudley的熵积分和比较矩阵差异类的度量熵界，分析估计器的风险。
• 证明估计误差仅依赖于图的度序列，并通过极小化最大下界证明最优性。

实验结果

研究问题

• RQ1 当仅观测到固定子集的成对比较时，在SST和噪声排序模型下，比较概率的一致估计是否可能？
• RQ2 在基于排列的模型中，最坏情况设计（项目到比较拓扑的任意分配）的根本限制是什么？
• RQ3 在项目分配至拓扑为随机化的平均情况设计下，是否可以实现一致估计？
• RQ4 估计风险如何依赖于比较拓扑的结构？
• RQ5 所提出的估计器在一大类图上的极小化最大风险方面是否最优？

主要发现

• 在SST和噪声排序模型下，对于大多数自然的比较拓扑，在最坏情况设计中一致估计不可能实现，这为基于排列的模型确立了‘没有免费午餐’定理。
• 在项目分配随机化的平均情况设计中，通过两种提出的估计器可实现一致估计，其风险仅取决于比较图的度序列。
• 所提估计器的风险被证明在一大类图上不可改进（最优），这通过与上界匹配的极小化最大下界得到验证。
• 估计误差率由图的度序列表征，表明拓扑结构仅通过节点度影响性能。
• 通过在多种比较拓扑上的模拟验证了理论风险界，支持了理论结果。
• 分析揭示了最坏情况与平均情况设计之间存在显著二分法，后者在前者失败时仍能实现一致估计。