[論文レビュー] Parallel Programming with MatlabMPI

Jeremy Kepner|arXiv (Cornell University)|Jul 20, 2001

Parallel Computing and Optimization Techniques被引用数 49

ひとこと要約

本稿では、共有メモリおよび分散メモリシステムにおけるMATLABでの並列プログラミングを可能にする、軽量で純粋なMATLAB実装であるMatlabMPIを提示する。ファイルI/Oを用いることで、C言語ベースのMPIとほぼ同一の帯域幅を達成し、画像フィルタリング応用において64プロセッサで64倍以上のスループット向上を示した。これは、最小限のコードオーバーヘッドでMPIに類似した並列処理がMATLABで実現可能であることを証明している。

ABSTRACT

MatlabMPI is a Matlab implementation of the Message Passing Interface (MPI) standard and allows any Matlab program to exploit multiple processors. MatlabMPI currently implements the basic six functions that are the core of the MPI point-to-point communications standard. The key technical innovation of MatlabMPI is that it implements the widely used MPI ``look and feel'' on top of standard Matlab file I/O, resulting in an extremely compact (~100 lines) and ``pure'' implementation which runs anywhere Matlab runs. The performance has been tested on both shared and distributed memory parallel computers. MatlabMPI can match the bandwidth of C based MPI at large message sizes. A test image filtering application using MatlabMPI achieved a speedup of ~70 on a parallel computer.

研究の動機と目的

• 広く採用されている通信モデルを用いて、マルチプロセッサシステムにおけるMATLABプログラムの効率的並列実行を可能にすること。
• 前例のMATLAB並列化ソリューションが広く採用されなかった要因を克服するため、事実上標準であるMPIインタフェースを活用すること。
• 標準のファイルI/O操作のみを用いて、MATLAB環境内にポータブルで最小限かつ完全に互換性のあるMPIに類似したインタフェースを提供すること。
• 軽量で純粋なMATLAB実装により、MATLABプログラムが明確に並列化可能なワークロードにおいて高い性能と強いスケーリングを達成できることを示すこと。

提案手法

• 標準のMATLABファイルI/O操作のみを用いて、MPIのポイントツーポイント通信標準のサブセットを実装すること。
• MPI関数呼び出し（例：MPI_Send、MPI_Recv）を、共有ディレクトリにメッセージを書き込み・読み取ることで実現するファイルベースのメッセージ渡しにマッピングすること。
• すべてのノードがアクセス可能な共有ディレクトリを通信媒体として使用し、低レベルのシステムコールや外部ライブラリの必要性を排除すること。
• MATLABが動作するすべてのプラットフォームで完全にポータブルであるように設計し、標準のMATLAB機能のみに依存すること。
• 大容量メッセージの帯域幅を最大化し、遅延オーバーヘッドを最小限に抑えるためのメッセージ処理最適化を行うこと。
• 共有メモリのSGI Origin2000システム上で実装を検証し、C言語ベースのMPIと性能を比較すること。

実験結果

リサーチクエスチョン

• RQ1 純粋なMATLAB実装によるMPIは、多様なコンピューティングプラットフォームで効率的かつポータブルに実現可能だろうか？
• RQ2 ファイルI/OベースのMPIの性能は、ネイティブのC言語ベースのMPIと比べてどうなるだろうか。特に大容量メッセージの場合は？
• RQ3 このファイルベースのMPI抽象化を用いることで、MATLABアプリケーションは明確に並列化可能なワークロードで強力なスループット向上を達成できるだろうか？
• RQ4 ファイルI/Oを通信メカニズムとして用いることで、並列MATLABプログラムにおける遅延と帯域幅にどのような影響が生じるだろうか？
• RQ5 低レベルのシステムアクセスやコンパイラ拡張子を必要とせずに、MPIモデルをMATLABに効果的に適応できるだろうか？

主な発見

• MatlabMPIは、大容量メッセージ（例：約1 MB）において、C言語ベースのMPIとほぼ同等の帯域幅性能を達成した。これは、ファイルI/Oが大規模スケールでの通信メカニズムとして実用的であることを示している。
• 2次元画像フィルタリングアプリケーションにおいて、64プロセッサで64倍以上のスループット向上を達成した。これは、キャッシュ利用効率の向上により、超線形のスケーリングが観察されたためである。
• MatlabMPIの遅延は1メッセージあたり約35ミリ秒であり、C MPIに比べて顕著に高いが、粗粒度並列アプリケーションには妥当な水準である。
• システムは極めてコンパクトで、約100行のコードで構成されており、MATLABがインストール可能なすべてのプラットフォームで動作するため、広範なポータビリティを有している。
• ファイルI/Oの使用により、大容量バッファのサポート、メッセージの記録、マルチキャスト、ワンサイド通信といった高度な機能が、追加の複雑さを最小限に抑えつつ実現可能となった。
• このアプローチは拡張可能であり、Python、IDL、Perlなどの他のスクリプト言語に対しても適応可能であり、MATLABを越えた幅広い適用可能性を示唆している。