[论文解读] DimmWitted: A Study of Main-Memory Statistical Analytics

Ce Zhang, Christopher Ré|arXiv (Cornell University)|Mar 28, 2014

Graph Theory and Algorithms参考文献 42被引用 17

一句话总结

本文提出了 DimmWitted，一个原型系统，探索在 NUMA 架构上的主内存统计分析中，数据访问方式（按行或按列）、模型复制粒度以及数据复制策略之间的权衡。通过系统性地评估这些设计点，作者证明其优化配置在流行机器学习工作负载（如逻辑回归、SVM 和神经网络）上，相较于现有系统可实现高达 100× 的性能提升，揭示了当前分析引擎中被低估的性能潜力。

ABSTRACT

We perform the first study of the tradeoff space of access methods and replication to support statistical analytics using first-order methods executed in the main memory of a Non-Uniform Memory Access (NUMA) machine. Statistical analytics systems differ from conventional SQL-analytics in the amount and types of memory incoherence they can tolerate. Our goal is to understand tradeoffs in accessing the data in row- or column-order and at what granularity one should share the model and data for a statistical task. We study this new tradeoff space, and discover there are tradeoffs between hardware and statistical efficiency. We argue that our tradeoff study may provide valuable information for designers of analytics engines: for each system we consider, our prototype engine can run at least one popular task at least 100x faster. We conduct our study across five architectures using popular models including SVMs, logistic regression, Gibbs sampling, and neural networks.

研究动机与目标

• 探索在 NUMA 架构上的主内存统计分析中，硬件效率与统计效率之间尚未被探索的权衡空间。
• 识别现有系统中因使用固定访问模式（按行或按列）和复制策略而导致的性能瓶颈。
• 评估不同数据访问方式、模型复制粒度（每核心、每插槽、每节点）以及数据复制策略对收敛时间和系统性能的影响。
• 证明当前系统在统计工作负载中，由于设计选择不当，其对现代硬件的利用率最多低至两个数量级。
• 提供一个设计空间分析，为下一代分析引擎的性能与效率改进提供指导。

提出的方法

• 作者设计了 DimmWitted，一个原型引擎，通过抽象数据布局和访问语义，支持多种数据访问模式——按行主序、按列主序以及混合模式。
• 他们提出一个成本模型，根据数据大小、模型类型和机器配置动态选择最优访问方式，以最小化墙钟收敛时间。
• 在三种粒度下评估模型复制：每核心（无共享）、每插槽（粗粒度）和每节点（最粗粒度），并在 NUMA 友好的内存访问模式下测量性能。
• 通过共享内存和分布式内存模型探索数据复制，性能在五种不同的硬件架构上进行测量。
• 系统支持一阶优化方法，如 SGD 和 SCD，通过抽象访问模式实现跨架构比较。
• 实验在五种架构上进行，使用标准模型包括逻辑回归、SVM、Gibbs 采样和神经网络，收敛时间与内存带宽为关键指标。

实验结果

研究问题

• RQ1 在 NUMA 系统上，按行和按列的数据访问模式如何影响统计分析工作负载的墙钟性能？
• RQ2 在平衡硬件效率与收敛速度方面，模型复制的最佳粒度（每核心、每插槽、每节点）是什么？
• RQ3 在共享内存、多插槽系统中，数据复制如何影响主内存统计分析的性能与可扩展性？
• RQ4 一个统一引擎能否动态支持多种访问与复制策略？如果是，它如何选择最优配置？
• RQ5 通过重新思考主内存分析中统计效率与硬件效率之间的权衡，现有系统能在多大程度上得到改进？

主要发现

• 数据访问方式的选择（按行 vs. 按列）可能导致同一统计任务的收敛时间相差高达 100×，且在所有工作负载中并无单一方式占优。
• 在 NUMA 系统上，每核心级别的模型复制会导致高通信开销并降低可扩展性，而每节点级别的复制可减少争用并提升性能。
• 所提出的成本模型能够为多样化数据集、模型和硬件配置选择接近最优的访问方式，从而最小化收敛时间。
• DimmWitted 在所有评估的工作负载中，至少在一个流行的统计任务上，相较于现有系统（如 MLlib、GraphLab、Spark）实现了至少 100× 的性能提升。
• 当前工业界和研究界的系统（如 MLlib、GraphLab 和 MADlib）由于访问与复制设计选择不当，对现代硬件的利用率严重不足，性能差距最高可达两个数量级。
• 本研究揭示，统计效率与硬件效率并非独立；若为优化一方而牺牲另一方，将导致显著的性能下降。