[論文レビュー] Redesigning pattern mining algorithms for supercomputers

Kazuki Yoshizoe, Aika Terada+1 more|arXiv (Cornell University)|Oct 27, 2015

Data Mining Algorithms and Applications参考文献 8被引用数 3

ひとこと要約

本稿では、スパコン向けに最適化された、非常にスケーラブルな分散メモリ並列アルゴリズムを提示する。超立方体構造の通信モデルと複数の分散スタックを活用し、負荷をバランスさせ、通信ボトルネックを最小限に抑える。この手法は、大規模な個人ゲノムデータから統計的に有意な突然変異パターンを抽出する際、1200コアで最大1175倍の高速化を達成し、ナードな並列化やシングルコアベースラインを上回った。

ABSTRACT

Upcoming many core processors are expected to employ a distributed memory architecture similar to currently available supercomputers, but parallel pattern mining algorithms amenable to the architecture are not comprehensively studied. We present a novel closed pattern mining algorithm with a well-engineered communication protocol, and generalize it to find statistically significant patterns from personal genome data. For distributing communication evenly, it employs global load balancing with multiple stacks distributed on a set of cores organized as a hypercube with random edges. Our algorithm achieved up to 1175-fold speedup by using 1200 cores for solving a problem with 11,914 items and 697 transactions, while the naive approach of separating the search space failed completely.

研究の動機と目的

• 将来の多数コアを有するスパコンアーキテクチャ向けに、スケーラブルで分散メモリ最適化されたパターンマイニングアルゴリズムが不足しているという問題に取り組む。
• HapMap や MCF7 データセットのような突然変異プロファイルを含む高密度の大規模個人ゲノムデータから、統計的に有意なパターンを効率的にマイニングすることを可能にする。
• 超立方体構造を用い、ランダムに接続されたエッジを持つことで、全般的な負荷バランスを実現し、並列探索における通信ボトルネックを克服する。
• LAMP（無限アリティ多重仮説検定手順）を並列パターンマイニングと統合し、家族-wise 偽陽性率の制御を正確に行う。
• ナードな並列化や共有メモリアプローチと比較して、計算集約的かつ高密度なパターンマイニングワークロードにおいて、優れたスケーラビリティとパフォーマンスを示すことを実証する。

提案手法

• アルゴリズムは LCM（Linear time Closed itemset Miner）フレームワークに基づいているが、計算ノードの超立方体トポロジーに複数の探索スタックを分散配置することで、分散メモリ向けに再設計された。
• 各コアがローカルスタックを維持し、ランダムに接続されたエッジを通じて隣接コアから動的に作業を引きずり出すことで、通信と計算のバランスを取るグローバル負荷分散戦略を採用する。
• 通信プロ rotocol は、メッセージトラフィックを均等に分散させ、ホットスポットを回避するため、ランダムエッジを有する超立方体を用いる。これにより、非平衡な木構造における深さ優先探索の効率的並列化が可能になる。
• 統計的有意性は LAMP（Limitless-arity Multiple Testing Procedure）フレームワークを用いて評価され、Tarone の P 値境界を用いたボンフェローニに類似した補正が施され、家族-wise 偽陽性率が制御される。
• 深さ優先探索と動的作業盗難を統合し、サポートカウントによるプルーニングをサポートすることで、大規模な探索空間の効率的探索が可能になる。
• 実装は高密度データベースに最適化されており、個人ゲノムデータセットに見られるような大規模アイテムセットや高頻度トランザクションに対応するようパフォーマンスチューニングが施されている。

実験結果

リサーチクエスチョン

• RQ1 分散メモリ並列パターンマイニングアルゴリズムは、数千コアを有するスパコン上で、高いスケーラビリティと負荷バランスを達成できるか？
• RQ2 ランダムエッジを有する超立方体ベース通信モデルは、並列パターンマイニング中に通信ボトルネックをどれほど効果的に低減できるか？
• RQ3 LAMP の多重仮説検定補正を統合することで、大規模ゲノムデータにおけるマイニングされたパターンの統計的信頼性はどの程度向上するか？
• RQ4 本手法は、スパースデータセットではなく高密度・高次元データセットにおいて、シングルコアおよびナード並列化実装と比較して、どの程度のスループット向上とスケーラビリティを示すか？
• RQ5 本アルゴリズムは、現実の個人ゲノムデータから統計的に有意な突然変異パターンをマイニングする計算的要件を効率的に処理できるか？

主な発見

• 提案手法は、11,914 個のアイテムと 697 件のトランザクションを含むデータセットで 1200 コアを使用した場合、最大1175倍の高速化を達成し、ナード並列化を著しく上回った。
• 本アルゴリズムは 1200 コアにスケーリングに成功し、より複雑で高密度な問題においてもスループットが向上し、強い弱スケーリング特性を示した。
• HapMap のドミナント20データセットでは、8アイテムまでを含む統計的に有意なアイテムセットが20秒未満で発見され、ブルートフォース法では不可能なタスクであった。
• パイプラインの第3段階（P値計算）では、1アイテムセットあたり10ms未満で処理が完了し、統計的補正ステップに最小限のオーバーヘッドが生じたことが示された。
• スパースデータセットではシングルコア版の LAMP2 が本並列実装を上回ったが、本手法は高密度・大規模データセットにおいて、コア数の増加に伴い優れたパフォーマンスを示した。
• 超立方体ベース通信モデルは、作業負荷を効果的にバランスさせ、通信ホットスポットを防止し、非平衡な木構造における深さ優先探索の効率的並列化を可能にした。