[論文レビュー] A Billion Updates per Second Using 30,000 Hierarchical In-Memory D4M Databases

Jeremy Kepner, Vijay Gadepally+16 more|arXiv (Cornell University)|Feb 3, 2019

Advanced Data Storage Technologies参考文献 21被引用数 5

ひとこと要約

この論文では、MIT SuperCloudの1,100台のサーバーを活用し、30,000台のインスタンスを用いて1秒間に19億回の更新を達成する階層的メモリ内D4M関連配列システムを提示する。関連配列をメモリ階層に配慮した構造で整理することで、高速メモリ層での高速な更新と効率的な集約を最適化し、大規模なストリーミングネットワークデータのリアルタイム分析をスケーラブルに実現する。

ABSTRACT

Analyzing large scale networks requires high performance streaming updates of graph representations of these data. Associative arrays are mathematical objects combining properties of spreadsheets, databases, matrices, and graphs, and are well-suited for representing and analyzing streaming network data. The Dynamic Distributed Dimensional Data Model (D4M) library implements associative arrays in a variety of languages (Python, Julia, and Matlab/Octave) and provides a lightweight in-memory database. Associative arrays are designed for block updates. Streaming updates to a large associative array requires a hierarchical implementation to optimize the performance of the memory hierarchy. Running 34,000 instances of a hierarchical D4M associative arrays on 1,100 server nodes on the MIT SuperCloud achieved a sustained update rate of 1,900,000,000 updates per second. This capability allows the MIT SuperCloud to analyze extremely large streaming network data sets.

研究の動機と目的

• 大規模なストリーミングネットワークデータに対して、高パフォーマンスでリアルタイムの分析をスケーラブルに実現すること。
• 動的ネットワークを表現するために使用される大規模な関連配列の更新におけるパフォーマンスボトルネックを解消すること。
• 遅延の高いメモリへの書き込みを最小限に抑えることで、メモリ階層の利用を最適化する階層的データ構造を設計すること。
• 1秒間にテラバイト単位のネットワークトラフィックを処理できるスケーラブルでインタラクティブな分析プラットフォームを実証すること。
• データベース、行列、グラフを統合した一貫した数学的フレームワークを提供し、ネットワーク分析に統合的に適用すること。

提案手法

• 各レイヤーが非ゼロ要素のサブセットを管理する階層的関連配列を採用し、更新処理を高速メモリレイヤーで実行する。
• レイヤーのサイズが事前に定義された閾値 $ c_i $ を超えると、その内容が上位レイヤーに集約され、現在のレイヤーはクリアされる。
• D4MライブラリはPython、Julia、MATLAB/Octaveで実装されており、ハイレベルな科学計算環境との統合を可能にしている。
• 1,100ノードのMIT SuperCloudクラスタを活用し、34,000個の階層的D4M配列インスタンスを数千のコアに分散配置している。
• すべてのクエリは、全レイヤーを1つの論理的配列に合算することで解決され、一貫性と正しさが保証される。
• 関連配列の数学的性質（閉包性、可換性、結合性、分配法則）を活用することで、正しさとスケーラビリティを実現している。

実験結果

リサーチクエスチョン

• RQ1 階層的メモリ内関連配列システムは、大規模なストリーミングネットワークデータに対してミリ秒未塔の更新レートを達成できるか？
• RQ2 メモリ階層の各レイヤーに関連配列を配置することで、フラットなメモリ内またはディスクベースのシステムと比較して、パフォーマンスがどのように向上するか？
• RQ3 大規模なスーパーコンピュータクラスタ上で、分散型の階層的D4M実装を用いて、最大でどの程度の持続的更新レートを達成できるか？
• RQ4 関連配列代数は、スケーラブルなネットワーク分析において、データベース、行列、グラフの操作をどの程度統合的に統合できるか？
• RQ5 高スループットで並列なストリーミング更新が行われる状況下でも、システムは正しさと一貫性をどのように維持できるか？

主な発見

• MIT SuperCloudの1,100台のサーバー上で、1秒間に1,900,000,000回の更新が持続的に達成された。
• 階層的設計により、大規模な更新を上位レイヤーにオフロードすることで、遅延の高いメモリへの書き込み回数が著しく削減され、パフォーマンスが向上した。
• サーバー数の増加に伴い、性能曲線が明確に向上しており、スケーリング効果が実証された。
• 関連配列の活用により、SQL、NoSQL、NewSQLスタイルの操作が、統一された数学的フレームワークの下でシームレスに統合された。
• 数千のコアを用いて、数分で大規模なネットワークデータセットのインタラクティブ分析が可能であり、実用的なスケーラビリティが示された。
• Accumulo、SciDB、Oracle TPC-C、CrateDBといった先行システムと比較して、更新スループットで優れた性能を示した。