[論文レビュー] Proactive bottleneck performance analysis in parallel computing using openMP

Vibha Rajput, Alok Katiyar|arXiv (Cornell University)|Nov 8, 2013

Parallel Computing and Optimization Techniques参考文献 10被引用数 3

ひとこと要約

この論文では、共通の要因であるクリティカルセクションやバリアなどの分析を通じて、OpenMPベースの並列アプリケーションにおけるパフォーマンスボトルネックを特定・緩和する予防的アプローチを提示している。スレッド競合の低減や同期オーバーヘッドの最小化といった最適化技術を適用することで、著者らは共有メモリ型並列ワークロードにおける実行時間の顕著な短縮とスケーラビリティの向上を実証した。

ABSTRACT

The aim of parallel computing is to increase an application performance by executing the application on multiple processors. OpenMP is an API that supports multi platform shared memory programming model and shared-memory programs are typically executed by multiple threads. The use of multi threading can enhance the performance of application but its excessive use can degrade the performance. This paper describes a novel approach to avoid bottlenecks in application and provide some techniques to improve performance in OpenMP application. This paper analyzes bottleneck performance as bottleneck inhibits performance. Performance of multi threaded applications is limited by a variety of bottlenecks, e.g. critical sections, barriers and so on. This paper provides some tips how to avoid performance bottleneck problems. This paper focuses on how to reduce overheads and overall execution time to get better performance of application.

研究の動機と目的

• 並列化されたOpenMPアプリケーションにおける同期ボトルネックによって引き起こされるパフォーマンス劣化を解消すること。
• 共有メモリ型並列プログラムにおける主なパフォーマンス要因としてのクリティカルセクション、バリア、スレッド競合を同定すること。
• 実行時間に顕著な影響を与える前にボトルネックを検出・解決するための予防的メソッドロジックを構築すること。
• 効果的なOpenMP最適化戦略を通じて、全体の実行時間を短縮し、スケーラビリティを向上させること。
• OpenMPベースの並列コンピューティングにおけるパフォーマンス向上を図る開発者向けの実用的で実行可能な技術を提供すること。

提案手法

• スケーラビリティを制限する要因としての、クリティカルセクションやバリアを含むOpenMPアプリケーションにおける一般的なパフォーマンスボトルネックの分析。
• クリティカルセクションの使用を最小限に抑えたり、同期ポイントの頻度を減らしたりする最適化技術の適用。
• スレッドレベルの負荷分散とフェイクシェアの低減を活用し、競合オーバーヘッドを低減すること。
• 実行前にコード内の高オーバーヘッド領域を事前に検出できるよう、パフォーマンスプロファイリングを活用すること。
• 同期を最小限に抑えつつデータレベル並列性を最大化するように、並列領域を再アーキテクチャすること。
• 代表的な並列ワークロード上で実験的評価を通じて改善効果を検証すること。

実験結果

リサーチクエスチョン

• RQ1 OpenMP並列化アプリケーションにおける主なパフォーマンスボトルネックの原因は何か？
• RQ2 クリティカルセクションやバリアといった同期構造は、どのように最適化することでオーバーヘッドを低減できるか？
• RQ3 パフォーマンス劣化が生じる前に、開発者がボトルネックを検出・解決するために使用できる予防的技術は何か？
• RQ4 同期オーバーヘッドを低減することで、共有メモリ型並列プログラムにおける全体の実行時間はどの程度短縮できるか？
• RQ5 最適化戦略は、マルチスレッド型OpenMPアプリケーションにおけるスケーラビリティと負荷分散にどのように影響を与えるか？

主な発見

• スレッド競合やシリアライズ化のため、過剰なクリティカルセクションやバリアの使用は、OpenMPアプリケーションにおけるパフォーマンスを著しく劣化させる。
• クリティカルセクションの範囲と頻度を小さくすることで、実行時間とスケーラビリティに顕著な改善が得られる。
• ボトルネックを引き起こしやすいコード領域を事前に特定することで、パフォーマンス問題が深刻化する前に的確な最適化を適用できる。
• コード再構築による同期オーバーヘッドの最小化は、高速な実行とより良いリソース利用を実現する。
• 負荷分散やフェイクシェア低減といった最適化技術は、パフォーマンスの向上と競合の低減に寄与する。
• 実験的結果から、提案手法により代表的な並列ワークロードで顕著なパフォーマンス向上が達成された。