[論文レビュー] DimmWitted: A Study of Main-Memory Statistical Analytics

Ce Zhang, Christopher Ré|arXiv (Cornell University)|Mar 28, 2014

Graph Theory and Algorithms参考文献 42被引用数 17

ひとこと要約

本論文では、NUMAアーキテクチャ上でのメインメモリ統計解析における、データアクセス方法（行優先対列優先）、モデルレプリケーションの粒度、データレプリケーション戦略のトレードオフを調査するプロトタイプシステムであるDimmWittedを紹介する。これらの設計要因を体系的に評価することで、著者らは、代表的な機械学習ワークロード（ロジスティック回帰、SVM、ニューラルネットワークなど）において、既存システムよりも最大100倍の高速化を達成する最適化された設定を実証した。これは、現在の分析エンジンが潜在的に未利用の性能を有していることを示している。

ABSTRACT

We perform the first study of the tradeoff space of access methods and replication to support statistical analytics using first-order methods executed in the main memory of a Non-Uniform Memory Access (NUMA) machine. Statistical analytics systems differ from conventional SQL-analytics in the amount and types of memory incoherence they can tolerate. Our goal is to understand tradeoffs in accessing the data in row- or column-order and at what granularity one should share the model and data for a statistical task. We study this new tradeoff space, and discover there are tradeoffs between hardware and statistical efficiency. We argue that our tradeoff study may provide valuable information for designers of analytics engines: for each system we consider, our prototype engine can run at least one popular task at least 100x faster. We conduct our study across five architectures using popular models including SVMs, logistic regression, Gibbs sampling, and neural networks.

研究の動機と目的

• NUMAアーキテクチャ上でのメインメモリ統計解析における、ハードウェア効率と統計効率の間の未開拓のトレードオフ空間を探ること。
• 固定されたアクセスパターン（行優先または列優先）とレプリケーション戦略を採用する既存システムにおけるパフォーマンスボトルネックを特定すること。
• 異なるデータアクセス方法、モデルレプリケーションの粒度（コア単位、ソケット単位、ノード単位）、およびデータレプリケーション戦略が収束時間とシステムパフォーマンスに与える影響を評価すること。
• 現在のシステムが、特に統計ワークロードにおいて、現代のハードウェアを最大2桁の性能差で未活用していることの実証。
• 次世代の分析エンジンのパフォーマンスと効率を向上させるための設計空間分析を提供すること。

提案手法

• 著者らは、データレイアウトとアクセスのセマンティクスを抽象化することで、行優先、列優先、ハイブリッドの複数のデータアクセスパターンをサポートするプロトタイプエンジンであるDimmWittedを設計した。
• データサイズ、モデルタイプ、マシン構成に基づいて最適なアクセス方法を動的に選択するコストモデルを導入し、壁時計の収束時間を最小化することを目的とした。
• モデルレプリケーションは、3つの粒度で評価された：コア単位（共有なし）、ソケット単位（粗粒度）、ノード単位（最も粗粒度）。NUMAに配慮したメモリアクセスパターンを前提にパフォーマンスを測定した。
• データレプリケーションは、共有メモリモデルと分散メモリモデルの両方で検討され、5つの異なるハードウェアアーキテクチャでパフォーマンスを測定した。
• SGD や SCD などの一次最適化手法をサポートし、アクセスパターンを抽象化することで、異機種間の比較を可能にした。
• 実験は、ロジスティック回帰、SVM、ギブスサンプリング、ニューラルネットワークなどの標準モデルを用いて、5つのアーキテクチャで実施された。収束時間とメモリ帯域幅を主なメトリクスとした。

実験結果

リサーチクエスチョン

• RQ1 NUMAシステム上での統計解析ワークロードにおいて、行優先と列優先のデータアクセス方法が壁時計パフォーマンスに与える影響は何か？
• RQ2 ハードウェア効率と収束速度のバランスを考慮した場合、モデルレプリケーションの最適な粒度（コア単位、ソケット単位、ノード単位）は何か？
• RQ3 共有メモリ型マルチソケットシステムにおけるメインメモリ統計解析において、データレプリケーションがパフォーマンスとスケーラビリティに与える影響は何か？
• RQ4 統合されたエンジンが複数のアクセスおよびレプリケーション戦略を動的にサポート可能であり、もしそうであるなら、最適な構成を選択する方法は何か？
• RQ5 メインメモリ分析における統計効率とハードウェア効率のトレードオフを再考することで、既存システムはどの程度改善可能か？

主な発見

• データアクセス方法の選択（行優先対列優先）によって、同じ統計的タスクにおいて最大100倍の収束時間の差が生じる。また、すべてのワークロードにわたって優位な方法は存在しない。
• モデルレプリケーションをコア単位で行うと、NUMAシステムでは通信オーバーヘッドが大きく、スケーラビリティが著しく劣る。一方、ノード単位でのレプリケーションは競合を低減し、パフォーマンスを向上させる。
• 提案されたコストモデルは、多様なデータセット、モデル、ハードウェア構成において、ほぼ最適なアクセス方法を選択でき、収束時間を最小化した。
• DimmWittedは、評価されたすべてのワークロードにおいて、少なくとも1つの代表的統計的タスクで、MLlib や GraphLab、Spark などの既存システムよりも最低でも100倍の高速化を達成した。
• MLlib や GraphLab、MADlib などの現在の産業界および研究用システムは、アクセスおよびレプリケーションの設計選択が非最適であるため、現代のハードウェアを最大2桁の性能差で未活用している。
• 本研究では、統計効率とハードウェア効率が独立ではないことが明らかになった。一方を他方の犠牲にして最適化すると、顕著なパフォーマンス低下が生じる。