[論文レビュー] Massively parallel implementation in Python of a pseudo-spectral DNS code for turbulent flows

Mikael Mortensen|arXiv (Cornell University)|Jul 1, 2016

Fluid Dynamics and Turbulent Flows参考文献 2被引用数 4

ひとこと要約

この論文では、MPI for Python (mpi4py)、NumPy、FFTWを活用して、Pythonの完全な高水準ライブラリのみで実装された、乱流のための高度に最適化され、完全並列化された擬似スペクトルDNSソルバを提示する。Pythonの一般的な性能制限にもかかわらず、重要なルーチンをCythonで加速することで、C++に10%以内の性能を達成し、大規模なDNS（数十億の未知数）を数千のプロセッサで実行するにあたり、Pythonを用いた高性能科学計算が実現可能であることを示している。

ABSTRACT

Direct Numerical Simulations (DNS) of the Navier Stokes equations is a valuable research tool in fluid dynamics, but there are very few publicly available codes and, due to heavy number crunching, codes are usually written in low-level languages. In this work a extasciitilde{}100 line standard scientific Python DNS code is described that nearly matches the performance of pure C for thousands of processors and billions of unknowns. With optimization of a few routines in Cython, it is found to match the performance of a more or less identical solver implemented from scratch in C++. Keys to the efficiency of the solver are the mesh decomposition and three dimensional FFT routines, implemented directly in Python using MPI, wrapped through MPI for Python, and a serial FFT module (both numpy.fft or pyFFTW may be used). Two popular decomposition strategies, slab and pencil, have been implemented and tested.

研究の動機と目的

• 高水準のPythonライブラリのみを用いて、乱流のための高性能で完全並列化された直接数値解法（DNS）ソルバを開発すること。
• スペクトル法を用いる場合を含め、PythonがC++のような低水準言語と同等の性能を発揮できることを実証すること。
• 標準的な科学的Pythonパッケージを用い、最小限の低水準最適化で、均一かつ等方的な乱流の効率的かつスケーラブルなDNSを可能にすること。
• スーパーコンピュータ上で、Python実装とC++実装を直接比較することで、ソルバの性能とスケーリング特性を検証すること。

提案手法

• 三重周期的領域上でのFourier-Galerkin空間離散化を用いた擬似スペクトル法により、ナビエ-ストークス方程式をフーリエ空間で解く。
• メッシュ分割は、Pythonで実装されたMPI for Python (mpi4py) を用い、3次元FFT通信を最適化するためのスラブ分割およびパencil分割戦略をサポートする。
• 3次元FFTは、numpy.fftまたはpyFFTWを用い、Pythonでカスタムラッパーを介してMPIベースの並列化を実現する。
• 時間積分には4次精度Runge-Kutta法を用い、2/3ルールによるデアレイジングを実装してスペクトル精度を確保する。
• 性能に影響を与えるルーチン（たとえば、外積やFFTループ）はCythonで最適化し、C++との性能差を埋める。
• メッシュ設定、分割、MPI通信を含む、ソルバの全モジュールが外部のC/Fortranラッパーを一切使用せずに、直接Pythonで実装されている。

実験結果

リサーチクエスチョン

• RQ1 完全に並列化された乱流DNSソルバを、純粋なPythonで実装し、手動最適化されたC++に匹敵する性能を達成できるか？
• RQ2 プロセッサ数と問題サイズが増加する際、PythonベースのスペクトルDNSソルバの性能はどのようにスケーリングするか？
• RQ3 Cython最適化によって、計算集約的な科学的シミュレーションにおいて、高水準Pythonと低水準C++との間の性能ギャップをどの程度埋められるか？
• RQ4 スラブ分割とパencil分割の異なるMPI分割戦略が、Pythonにおける3次元FFTベースのスペクトルソルバの性能とスケーラビリティにどのように影響を与えるか？
• RQ5 PythonベースのDNSソルバは、数千のプロセッサで数十億の未知数を持つシミュレーションを効率的に処理できるか？

主な発見

• 標準的な科学的PythonDNSソルバは、数千のプロセッサにわたり良好な弱スケーリングを示し、C++実装と比べて30–40%遅れるが、これは効率的なMPI通信を示している。
• 重要なルーチンをCythonで最適化した後、PythonソルバはC++実装と同等の性能を達成し、1024³のシミュレーションで1024コアで1ステップあたり約20秒の実行時間にまで短縮された。
• 最適化済みのCythonバージョンは、特にコア数が多い場合にC++バージョンよりも優れた強スケーリングを示した。これは、効率的なループ処理と通信オーバーヘッドの低減によるものである。
• 2048³の問題（約80億の未知数）を正常にシミュレートでき、極めて大きな問題サイズへのスケーラビリティを実証した。
• 重要なループをCythonでコンパイルした場合、Pythonソルバの性能はC++バージョンの10%以内に収まり、高水準PythonがHPCにおいて低水準コードと競合可能であることを証明した。
• 結果から、mpi4py、NumPy、および局所的なCython最適化を組み合わせたPythonは、乱流のための大規模DNSにおいて実用的かつ生産的な言語であることが確認された。