[论文解读] An information measure for comparing top $k$ lists

Arun S. Konagurthu, James H. Collier|arXiv (Cornell University)|Oct 1, 2013

Machine Learning and Algorithms参考文献 14被引用 4

一句话总结

本文提出了一种基于信息论的度量方法，通过使用最小消息长度编码来估计可压缩性，以比较前 $k$ 个元素的列表。与传统度量方法不同，该方法客观地平衡了非重叠、重叠元素的排名位移以及混乱程度，其增长呈线性，与斯皮尔曼距离法和肯德尔tau距离的二次方增长形成对比，因此在大规模列表比较中更具鲁棒性。

ABSTRACT

Comparing the top $k$ elements between two or more ranked results is a common task in many contexts and settings. A few measures have been proposed to compare top $k$ lists with attractive mathematical properties, but they face a number of pitfalls and shortcomings in practice. This work introduces a new measure to compare any two top k lists based on measuring the information these lists convey. Our method investigates the compressibility of the lists, and the length of the message to losslessly encode them gives a natural and robust measure of their variability. This information-theoretic measure objectively reconciles all the main considerations that arise when measuring (dis-)similarity between lists: the extent of their non-overlapping elements in each of the lists; the amount of disarray among overlapping elements between the lists; the measurement of displacement of actual ranks of their overlapping elements.

研究动机与目标

• 为解决现有前-$k$ 个元素列表比较度量方法的局限性，这些方法通常表现出二次方增长，且未能充分考虑重叠元素的排名位移与混乱程度。
• 开发一种统计上严谨的信息论度量方法，客观平衡三个关键标准：非重叠、重叠元素的混乱程度以及排名位移。
• 提供一种可扩展且鲁棒的替代方案，以替代对非重叠元素和任意参数敏感的现有度量方法。
• 使在搜索引擎结果、基因表达研究和推荐系统等应用中，对排序列表进行更可靠的比较成为可能。

提出的方法

• 该方法使用最小消息长度（MML）编码来估计两个前-$k$ 个元素列表的信息含量，将无损编码长度视为变异性的度量。
• 通过排列的阶乘数制表示来建模重叠元素的压缩，捕捉每个元素对混乱程度的独立贡献，而非通过汇总统计量进行概括。
• 非重叠元素使用LZW压缩进行编码，消息长度反映了其对整体信息成本的贡献。
• 总信息成本通过在共享模型下联合编码两个列表所需的消息长度之和来计算，该模型同时考虑了重叠和排名差异。
• 该方法假设总域大小未知，采用第3.2节中的情况2来估计信息含量，而无需事先知道完整的元素集合。
• 通过利用压缩中信息的可加性，隐式平衡了相互冲突的标准——非重叠、混乱程度和位移。

实验结果

研究问题

• RQ1 如何在同时考虑非重叠、重叠元素的排名位移和混乱程度的前提下，客观地度量两个前-$k$ 个元素列表之间的变异性？
• RQ2 为何传统度量方法如斯皮尔曼距离法和肯德尔tau距离会随 $k$ 呈二次方增长？这种行为在实践中是否合理？
• RQ3 信息论压缩能否为大规模列表比较任务提供比现有度量方法更鲁棒、更可扩展的替代方案？
• RQ4 当重叠元素集合随 $k$ 增加而波动时，所提出的度量方法行为如何？

主要发现

• 信息成本随 $k$ 近似呈线性增长，与斯皮尔曼距离法和肯德尔tau距离的二次方增长形成鲜明对比，表明其具有更好的可扩展性。
• 当新元素引入导致重叠集合扩大时，信息成本出现波动，但由于非重叠元素减少，编码成本总体上实现净节省。
• 在250个查询的搜索引擎比较中，当 $k > 50$ 时，信息成本的增长显著低于斯皮尔曼和肯德尔距离，表明其具有更高的稳定性。
• 该方法通过阶乘数制的数位捕捉了每个元素对混乱程度的独立贡献，与基于置换计数等汇总度量相比，能更精细地感知排列结构。
• 在电影列表比较中，信息度量正确反映出IMDb与Goodmovies列表之间的相似性高于其他配对，与定性预期一致。
• 该方法提供了在相互冲突的相似性标准之间进行原则性、客观权衡的机制，避免了肯德尔扩展中依赖于人为参数 $p$ 的问题。