[論文レビュー] Towards Blood Flow in the Virtual Human: Efficient Self-Coupling of HemeLB

J. W. S. McCullough, Robin A. Richardson+13 more|arXiv (Cornell University)|Oct 8, 2020

Lattice Boltzmann Simulation Studies参考文献 29被引用数 1

ひとこと要約

本論文は、HemeLB格子ボルツマンコードにおける効率的な自己結合戦略を提示し、全人的スケールの動脈および静脈血管樹における高精度な3次元血液流れのシミュレーションを可能にした。メモリ管理、負荷バランス、MPI通信の最適化により、100,000コアを超えるスケールでほぼ線形のスケーリングを達成し、大規模なスケールで動脈および静脈の流れを効果的に結合した。これは、エクサスケールシステム上で完全な仮想ヒトをシミュレートするための重要な一歩である。

ABSTRACT

Many scientific and medical researchers are working towards the creation of a virtual human - a personalised digital copy of an individual - that will assist in a patient's diagnosis, treatment and recovery. The complex nature of living systems means that the development of this remains a major challenge. We describe progress in enabling the HemeLB lattice Boltzmann code to simulate 3D macroscopic blood flow on a full human scale. Significant developments in memory management and load balancing allow near linear scaling performance of the code on hundreds of thousands of computer cores. Integral to the construction of a virtual human, we also outline the implementation of a self-coupling strategy for HemeLB. This allows simultaneous simulation of arterial and venous vascular trees based on human-specific geometries.

研究の動機と目的

• HemeLB格子ボルツマンコードを用いて、全人的スケールの血管樹をカバーする高精度な3次元血液流れのシミュレーションを実現すること。
• エクサスケールアーキテクチャ上で大規模シミュレーションを実行するにあたり、メモリ管理および負荷バランスの計算的ボトル neck を克服すること。
• 患者特異的な幾何形状を用いて、動脈および静脈の血行動態を同期的にシミュレートする自己結合戦略を実装および検証すること。
• 全ヒト血管系のスケールで複雑な結合血行動態をシミュレートする可能性を実証すること。
• 将来的な検証およびHemeLBの完全でマルチスケールの仮想ヒトモデルへの拡張の基盤を築くこと。

提案手法

• 大規模なデータ通信を効率的に行うために、次世代MPIをHemeLBに適応させた。
• 大規模CPUクラスタ上でパフォーマンスを最適化するため、高度なメモリ管理および負荷バランス技術を実装した。
• 動脈および静脈の血管樹間の共有境界界面で流れのデータを交換できる自己結合フレームワークを開発した。
• 医用画像から再構築した患者特異的な3次元血管幾何形状を用いて、動脈および静脈領域を定義した。
• 複雑でスパースな血管幾何形状において、高空間分解能でナビエ＝ストークス方程式を格子ボルツマン法で解いた。
• 自己結合の妥当性とスケーラビリティを検証するため、ヒトの脚部血管樹を対象に概念実証シミュレーションを実施した。

実験結果

リサーチクエスチョン

• RQ1 HemeLBは、100,000コアを超えるCPUコアで、全人的スケールの血液流れをシミュレートする際にほぼ線形のスケーリングを達成できるか？
• RQ2 HemeLBの自己結合を用いて、1つのシミュレーションで動脈および静脈の血管樹をどれほど効果的に結合できるか？
• RQ3 複数のHemeLBインスタンスを結合する際、どのようなパフォーマンスボトル neck が生じるか、そしてそれらをどのように緩和できるか？
• RQ4 自己結合戦略は、スケール上で壁面せん断応力や流れの分布といった血行動態的特徴を正確に再構築できるか？
• RQ5 完全な仮想ヒトモデルにこのアプローチを拡張するには、どのような計算およびアルゴリズム的改善が必要か？

主な発見

• HemeLBは、最大100,000コアのスケールでほぼ線形のスケーリング性能を達成し、大規模3次元血液流れシミュレーションにおける強スケーリングを示した。
• 自己結合戦略により、動脈および静脈の血管樹間で数百の境界ポイントを通じて流れのデータが効果的に通信され、同期シミュレーションが可能となった。
• 本手法により、10^10個を超える格子節点を有するヒトスケールの血管幾何形状のシミュレーションが可能となり、完全な仮想ヒトモデリングに近いスケールに達した。
• 最適化されたMPI動作および簡素化された内部データ構造により、通信オーバーヘッドが低減され、全体の効率が向上した。
• ヒトの脚部血管樹を対象に実施した概念実証シミュレーションは、複雑な速度分布およびせん断応力分布といった期待される動的流れの特徴を正確に再現した。
• 本研究は、生理的データとの検証およびマルチスケール・マルチフィジックス仮想ヒトシミュレーションへの拡張のための基盤を確立した。