[论文解读] Medoids in almost linear time via multi-armed bandits

Vivek Bagaria, Govinda M. Kamath+3 more|arXiv (Cornell University)|Nov 2, 2017

Single-cell and spatial transcriptomics参考文献 13被引用 9

一句话总结

该论文提出 Med-dit，一种新颖算法，通过多臂赌博机框架在 O(n log n) 次距离计算中精确计算高维数据集的中心点。通过将每个点视为一个臂，并基于置信区间自适应采样距离，Med-dit 在大规模数据集（如单细胞 RNA-Seq 和 Netflix）上的性能比最先进的方法（如 RAND 和 TOPRANK）快达 10 倍，且无需依赖距离对称性或三角不等式。

ABSTRACT

Computing the medoid of a large number of points in high-dimensional space is an increasingly common operation in many data science problems. We present an algorithm Med-dit which uses O(n log n) distance evaluations to compute the medoid with high probability. Med-dit is based on a connection with the multi-armed bandit problem. We evaluate the performance of Med-dit empirically on the Netflix-prize and the single-cell RNA-Seq datasets, containing hundreds of thousands of points living in tens of thousands of dimensions, and observe a 5-10x improvement in performance over the current state of the art. Med-dit is available at https://github.com/bagavi/Meddit

研究动机与目标

• 解决具有数十万点的高维数据集中精确中心点计算的计算不可行性。
• 开发一种方法，在显著少于朴素或基于采样的方法的距离计算次数下，以高概率找到精确中心点。
• 设计一种对任意距离度量均鲁棒的算法，包括非对称或不满足三角不等式的度量。
• 实现与维度无关的近线性时间复杂度，使其可扩展至基因表达或推荐系统等高维数据。
• 为现有方法（如 trimed 和 TOPRANK）提供一种实用且高效的替代方案，尤其在这些方法变得不可行的高维场景下。

提出的方法

• Med-dit 将中心点问题建模为多臂赌博机（MAB）问题，其中每个数据点为一个具有未知平均距离至其他所有点的臂。
• 它使用上下置信界（UCB）动态维护一个候选点集合，排除那些其置信区间不可能成为中心点的点。
• 该算法自适应地对下界低于所有点中最小上界的点采样距离，确保高效探索。
• 当除一个点外的所有点的置信区间均排除真实中心点时停止，从而保证高概率正确性。
• 理论分析假设距离估计具有次高斯性，这在高维下由中心极限定理支持。
• 该方法对距离度量属性保持无感知，无需对称性或三角不等式。

实验结果

研究问题

• RQ1 中心点计算问题能否被重新表述为多臂赌博机问题，以实现高效自适应采样？
• RQ2 在现实数据假设下，基于赌博机的方法是否能在精确中心点计算中实现 O(n log n) 次距离计算？
• RQ3 与现有方法（如 trimed 和 TOPRANK）相比，Med-dit 的性能在维度增加时如何扩展？
• RQ4 在真实世界高维数据集（如单细胞 RNA-Seq）上，该算法在多大程度上减少了距离计算次数？
• RQ5 该算法能否通过置信水平 δ 进行调优，在不牺牲正确性的前提下平衡速度与准确性？

主要发现

• Med-dit 以高概率实现 O(n log n) 次距离计算来计算精确中心点，显著优于 RAND 的 O(n log n / ε) 复杂度。
• 在包含 109,140 个细胞的单细胞 RNA-Seq 数据集中，Med-dit 实现了与 RAND 相当性能，但距离计算次数减少了约 10 倍。
• 在高维场景下（如 784 维的 MNIST），Med-dit 表现优于 trimed，后者因维度的指数依赖而性能下降。
• 实验上，Med-dit 在 1,000 次试验中每点仅平均使用 80 次距离计算，远低于理论估计的 266 次，表明其具有极强的实际效率。
• 该算法以 99.99% 的置信度正确识别出中心点，且在 150 个候选点中的 9 个中，它精确计算了该点到所有其他点的平均距离。
• 中心点平均距离的置信区间严格低于所有其他点的置信区间，确保了终止时的正确性。