[論文レビュー] Towards Efficient OpenMP Strategies for Non-Uniform Architectures

Oussama Tahan|arXiv (Cornell University)|Nov 26, 2014

Parallel Computing and Optimization Techniques参考文献 8被引用数 3

ひとこと要約

本稿では、NANOSランタイム内での知能的なスレッド割り当てと高度なタスクスケジューリングを活用したNUMA対応OpenMP戦略を提案し、リモートメモリアクセスを最小限に抑える。BOTSベンチマークで評価した結果、特にデータ集約的なアプリケーションにおいて顕著な性能向上が得られ、現代のマルチソケットシステムにおける非一様メモリアクセスの遅延を低減した。

ABSTRACT

Parallel processing is considered as todays and future trend for improving performance of computers. Computing devices ranging from small embedded systems to big clusters of computers rely on parallelizing applications to reduce execution time. Many of current computing systems rely on Non-Uniform Memory Access (NUMA) based processors architectures. In these architectures, analyzing and considering the non-uniformity is of high importance for improving scalability of systems. In this paper, we analyze and develop a NUMA based approach for the OpenMP parallel programming model. Our technique applies a smart threads allocation method and an advanced tasks scheduling strategy for reducing remote memory accesses and consequently their extra time consumption. We implemented our approach within the NANOS runtime system. A set of tests was conducted using the BOTS benchmarks and results showed the capacity of our technique in improving the performance of OpenMP applications especially those dealing with a large amount of data.

研究の動機と目的

• 非一様メモリアクセス（NUMA）アーキテクチャ上で実行されるOpenMPアプリケーションにおける性能ボトル neck を解消すること。
• マルチソケットシステムにおけるリモートメモリアクセスに起因する遅延を低減し、スケーラビリティを向上させること。
• NUMAトポロジに基づいてスレッドとタスクを知的にマッピングするランタイム戦略を開発すること。
• 提案手法の有効性を実世界のデータ集約的ワークロード上で評価すること。
• ノード間でメモリアクセス遅延が顕著に異なる環境におけるOpenMPの性能を向上させること。

提案手法

• 本手法は、ローカルメモリに近いコアにOpenMPスレッドを割り当てる知的なスレッド割り当てメカニズムを統合している。
• タスクを実行するノードに必要なデータが存在するノードにタスクを配置することで、データローカリティを最優先する高度なタスクスケジューリング戦略を採用している。
• スレッドおよびタスクの配置をランタイムで管理するNANOSランタイムシステム内に本技術を実装している。
• システムはメモリアクセスパターンを動的に監視し、リモートメモリ参照を最小限に抑えるためにスレッドおよびタスクの配布を調整している。
• スレッド配置およびタスクスケジューリング意思決定を支援するために、NUMAトポロジ認識を活用している。
• 本手法は、メモリ集約的並列アプリケーションを含むBOTSベンチマークスイートを用いて評価されている。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてOpenMPアプリケーションをNUMAアーキテクチャに最適化し、リモートメモリアクセスのオーバーヘッドを低減できるか？
• RQ2 マルチソケットシステムにおける非一様メモリアクセス環境で、遅延を最小限に抑えるスレッド割り当て戦略は何か？
• RQ3 知的なタスクスケジューリングは、データ集約的OpenMPワークロードの性能にどのように寄与するか？
• RQ4 NANOSのようなランタイムシステムは、NUMAプラットフォームにおけるスケーラビリティをどの程度向上できるか？
• RQ5 OpenMPにおいて、トポロジ認識型のスレッドおよびタスク管理によって、どの程度の性能向上が達成可能か？

主な発見

• 提案されたNUMA対応戦略は、データに近い場所にスレッドとタスクを知的に配置することで、リモートメモリアクセスを顕著に低減した。
• BOTSベンチマークスイートによる評価で、特にデータ集約的アプリケーションにおいて顕著な性能向上が確認された。
• マルチソケットシステムにおけるノード間メモリアクセス遅延を最小限に抑えることで、測定可能なスピンアップが達成された。
• NANOSランタイムは、NUMAノード間でデータローカリティを維持しながら、動的負荷分散を効果的に管理できた。
• 結果から、NUMAアーキテクチャにおける高スケーラビリティを達成するには、トポロジ認識スケジューリングが不可欠であることが確認された。
• 大規模なデータセットおよび高帯域幅要件を伴うシナリオにおいて、デフォルトのOpenMPスケジューリングを上回る性能が得られた。