[論文レビュー] A Data-Parallel Version of Aleph

Stasinos Konstantopoulos|ArXiv.org|Aug 10, 2007

Parallel Computing and Optimization Techniques参考文献 7被引用数 13

ひとこと要約

本稿では、MPIを用いて例データを複数のノードに分散させることで、証明評価を高速化するAleph ILPシステムのデータ並列拡張を提示する。仮説の証明チェックをクラスタにオフロードすることで、特に大規模データセットにおいて顕著な高速化が達成され、重いバックグラウンド理論において16ノードで最大5.9倍の高速化を確認した。これは、データ量が主なボトルネックである場合、データ並列性が有効であることを裏付けている。

ABSTRACT

This is to present work on modifying the Aleph ILP system so that it evaluates the hypothesised clauses in parallel by distributing the data-set among the nodes of a parallel or distributed machine. The paper briefly discusses MPI, the interface used to access message- passing libraries for parallel computers and clusters. It then proceeds to describe an extension of YAP Prolog with an MPI interface and an implementation of data-parallel clause evaluation for Aleph through this interface. The paper concludes by testing the data-parallel Aleph on artificially constructed data-sets.

研究の動機と目的

• AlephのようなILPシステムは、高性能ハードウェアでも数日を要することが多く、その計算コストが高いためにこれを解決すること。
• 並列および分散コンピューティングリソースを活用して、ILP実験におけるウォールクロック時間を短縮すること。
• MPIを用いてAlephにデータ並列の節評価を実装し、ノード間で例の集合をスケーラブルに分散できること。
• データ並列性が、ILPにおける大規模データセットに起因する性能ボトルネックを効果的に緩和できるかどうかを評価すること。

提案手法

• MPIインタフェースをYAP Prologに拡張し、分散ノード間でのメッセージパッシング通信を可能にした。
• クラスタ内のノードに例のデータセットを分割し、各ノードに独立して仮説の評価を割り当てた。
• MPIのポイントツーポイント通信プリミティブ（タグおよびデータ型を伴う送信/受信）を用いて、データの配布と結果の集約を調整した。
• 各ノードが割り当てられたデータサブセットに対して、候補節を独立して証明するデータ並列評価戦略を実装した。
• 全ノードを管理するためのグローバルコミュニケータとしてMPI_COMM_WORLDを用い、ノードランク0をヘッドノードとした。
• 特に例に対する仮説の評価フェーズが、並列化可能なコンponentとなるようにシステムを設計した。

実験結果

リサーチクエスチョン

• RQ1 データ量が主なボトルネックである場合、AlephにおけるILP節評価のウォールクロック時間をデータ並列性が顕著に短縮できるか？
• RQ2 軽量および重いバックグラウンド理論の両方において、ノード数の増加に伴うデータ並列Alephの性能スケーリングはいかがなっているか？
• RQ3 どのような状況で、データ並列性がILPシステムにおいてオラル並列性よりも優れているか？
• RQ4 ノード間で例を分散させることで、各ノードのメモリ圧迫が軽減され、制限されたハードウェアでもより大きな実験が可能になるか？
• RQ5 バックグラウンド理論が計算的に高価になると、Amdahlの法則がデータ並列ILPのスケーラビリティにどのように影響を与えるか？

主な発見

• 16ノードを用いた場合、軽量バックグラウンド理論ではウォールクロック時間が168.0秒にまで短縮され、順次版（991.9秒）と比較して5.9倍の高速化が達成された。
• 重いバックグラウンド理論では、64ノードでウォールクロック時間が8,253.0秒にまで短縮されたが、32ノードを超えてもわずかな向上しか得られず、Amdahlの法則の影響が顕著に現れた。
• 重いバックグラウンド理論では、ノード数が24〜32を超えると、性能向上の割合が著しく低下し、バックグラウンドの複雑さが高くなると証明フェーズがますます支配的になることが示された。
• データ並列アプローチにより、例の集合を分散させることでノードごとのメモリ圧迫が顕著に軽減され、メモリ制限のあるマシンでもより大きな実験が可能になった。
• データ量がボトルネックである場合にデータ並列性が最も効果的であり、これは重いバックグラウンド理論でのスケーリングの遅さによって裏付けられた。
• オラル並列性は探索空間の走査時間を短縮するのに適している一方で、データ並列性は大規模データセットに対する仮説評価の高速化に優れていることが分かった。