[论文解读] A general decision framework for structuring computation using Data Directional Scaling to process massive similarity matrices

Daniel J. Lawson, Niall M. Adams|arXiv (Cornell University)|Mar 17, 2014

Face and Expression Recognition参考文献 51被引用 4

一句话总结

本文提出了一种基于数据方向缩放（Data Directional Scaling）的统计决策框架，通过按顺序选择最具信息量的对象对进行评估，高效计算大规模相似性矩阵，从而在保持高精度的同时降低计算成本。该方法结合高斯过程模拟器与基于损失的选取准则，在群体遗传学应用中表现优于随机选择和基于先验的启发式方法。

ABSTRACT

As datasets grow it becomes infeasible to process them completely with a desired model. For giant datasets, we frame the order in which computation is performed as a decision problem. The order is designed so that partial computations are of value and early stopping yields useful results. Our approach comprises two related tools: a decision framework to choose the order to perform computations, and an emulation framework to enable estimation of the unevaluated computations. The approach is applied to the problem of computing similarity matrices, for which the cost of computation grows quadratically with the number of objects. Reasoning about similarities before they are observed introduces difficulties as there is no natural space and hence comparisons are difficult. We solve this by introducing a computationally convenient form of multidimensional scaling we call `data directional scaling'. High quality estimation is possible with massively reduced computation from the naive approach, and can be scaled to very large matrices. The approach is applied to the practical problem of assessing genetic similarity in population genetics. The use of statistical reasoning in decision making for large scale problems promises to be an important tool in applying statistical methodology to Big Data.

研究动机与目标

• 为应对数据集规模增大导致的相似性矩阵计算量呈二次增长而带来的计算不可行性问题。
• 开发一种顺序决策框架，优先安排计算以尽早获得有用的局部结果，即使无法完成全部评估。
• 通过计算高效的模拟器，实现对未计算相似性的准确估计，避免对完整矩阵进行评估。
• 引入数据方向缩放方法，以识别相似性空间中的关键结构方向，而无需依赖潜在变量模型。
• 在真实世界群体遗传学数据中展示该框架的有效性，其中相似性计算成本高且结构复杂。

提出的方法

• 该框架使用损失函数指导按顺序选择对象对进行相似性计算，目标是最小化预测误差。
• 采用高斯过程模拟器，基于已评估的对象对预测未计算的相似性，从而实现对未来损失的低成本估计。
• 引入数据方向缩放方法，通过分析已评估相似性的结构，识别相似性空间中的主导方向，实现高效的降维。
• 选择算子基于估计的损失减少量，选择下一对进行计算，使用交叉验证估计的预测误差。
• 随着新相似性的计算，动态更新模拟器和选择标准，支持在线学习。
• 该框架使用合成模拟和包含53个人种群体的真实群体遗传学数据集进行评估。

实验结果

研究问题

• RQ1 顺序决策框架是否能在保持高精度的同时显著降低大规模数据集相似性矩阵估计的计算成本？
• RQ2 与标准方法相比，数据方向缩放在相似性矩阵近似中的效率和准确性有何提升？
• RQ3 在真实世界遗传相似性分析中，所提出的框架在多大程度上优于随机选择和基于先验的启发式方法？
• RQ4 模拟器选择和损失函数设计对框架收敛性和性能有何影响？
• RQ5 该框架是否能有效扩展到现代群体基因组学中常见的超大规模数据集？

主要发现

• 该框架在相似性矩阵恢复过程中，显著优于随机选择，能更有效地降低均方根误差（RMSE）。
• 使用RMSE选择准则与混合模型模拟器，收敛速度更快且误差更低，优于随机选择和基于先验的启发式方法。
• 在包含53个人种群体的真实群体遗传学数据集上的应用表明，仅需100对经过精心选择的对象对，即可恢复高质量的相似性矩阵。
• 数据方向缩放无需昂贵的潜在变量建模，即可快速表征相似性空间中的主要结构方向。
• 该框架在大幅降低计算成本的同时实现了高预测精度，使大规模相似性矩阵处理成为可能。
• 结果表明，在矩阵补全模型假设不成立时，顺序计算中的统计推理可作为强大的替代方案。