[論文レビュー] Multithreaded Input-Sensitive Profiling

Emilio Coppa, Camil Demetrescu+2 more|arXiv (Cornell University)|Apr 13, 2013

Parallel Computing and Optimization Techniques参考文献 27被引用数 3

ひとこと要約

この論文では、他のスレッドやシステムコールによって引き起こされるメモリアクセスから入力サイズを自動的に推定する、スレッド化された読み取りメモリサイズ（trms）メトリクスを導入することで、マルチスレッドアプリケーションにおける入力に依存するプロファイリングを拡張した。この手法により、重いツールと同等のオーバーヘッドで、かつ従来の手法よりもはるかに多くのパフォーマンスポイントを収集できるValgrindベースのプロファイラーを用いて、並列プログラムにおける正確なパフォーマンス特徴付けが可能になる。

ABSTRACT

Input-sensitive profiling is a recent performance analysis technique that makes it possible to estimate the empirical cost function of individual routines of a program, helping developers understand how performance scales to larger inputs and pinpoint asymptotic bottlenecks in the code. A current limitation of input-sensitive profilers is that they specifically target sequential computations, ignoring any communication between threads. In this paper we show how to overcome this limitation, extending the range of applicability of the original approach to multithreaded applications and to applications that operate on I/O streams. We develop new metrics for automatically estimating the size of the input given to each routine activation, addressing input produced by non-deterministic memory stores performed by other threads as well as by the OS kernel (e.g., in response to I/O or network operations). We provide real case studies, showing that our extension allows it to characterize the behavior of complex applications more precisely than previous approaches. An extensive experimental investigation on a variety of benchmark suites (including the SPEC OMP2012 and the PARSEC benchmarks) shows that our Valgrind-based input-sensitive profiler incurs an overhead comparable to other prominent heavyweight analysis tools, while collecting significantly more performance points from each profiling session and correctly characterizing both thread-induced and external input.

研究の動機と目的

• 従来の入力に依存するプロファイラーが順序実行コードにしか対応できず、マルチスレッドアプリケーションにおけるスレッド由来または外部からの入力を無視するという限界を解消すること。
• 非決定的スレッド通信やOSカーネル操作由来の入力であっても、各ルーチンのアクティベーションに対する有効な入力サイズを自動的に推定することで、並列プログラムの正確なパフォーマンス解析を可能にすること。
• 既存の動的インストルメンテーションフレームワーク（例：Valgrind）と統合可能な実用的でスケーラブルなプロファイラーを開発すること。
• 並列環境における正確な入力サイズ推定が、従来の手法よりも情報量が多く信頼性の高いコスト関数プロットをもたらすことを示すこと。

提案手法

• 他のスレッドが変更するメモリ領域やシステムコールによってトリガーされるメモリアクセスを含め、メモリ領域の初回アクセスに基づいて入力サイズを定量化する、スレッド化された読み取りメモリサイズ（trms）メトリクスを導入する。
• 実行中の低レベルのメモリアクセスパターンを分析することで、各ルーチンのアクティベーションごとにtrmsを追跡・計算する効率的なアルゴリズムを設計する。
• スレッドセーフでないメモリ操作をインストルメントし、各ルーチンごとに入力サイズの推定値をログに記録するValgrindベースのプロファイラーを実装する。このプロファイラーはスレッドレベルのコンテキストを保持する。
• 動的インストルメンテーションを用いてメモリアクセストレースをキャプチャし、それらをルーチンのアクティベーションと関連付けることで、並列実行における自動的な入力サイズ推定を可能にする。
• 複数回の実行から収集した実測データにコスト関数フィッティング技術を適用し、入力サイズのスケーリングに応じたパフォーマンス予測を可能にする。
• 合成例およびMySQLとvipsの実世界の事例研究を用いて、非決定的スレッド相互作用に対して頑健であることを検証する。

実験結果

リサーチクエスチョン

• RQ1 他のスレッドやシステムコールによって生成される入力が存在するマルチスレッドプログラムにおいて、入力サイズをどのように正確に推定できるか。
• RQ2 パフォーマンスの低下や精度の損ないを伴わずに、並列環境における入力に依存するプロファイリングを実現するために、どのようなメトリクスとインストルメンテーション技術が必要か。
• RQ3 Valgrindベースのプロファイラーは、マルチスレッドワークロードにおいて、他のツールと同等の低オーバーヘッドを維持しながら、従来のツールよりもはるかに多くのパフォーマンスポイントを収集できるか。
• RQ4 提案されたtrmsメトリクスは、並列アプリケーションにおいて、従来の手法に比べてコスト関数推定の正確性と信頼性をどのように向上させるか。

主な発見

• 提案されたtrmsメトリクスは、I/Oやカーネル操作などのスレッド由来および外部の入力源からの入力サイズを効果的に捉え、マルチスレッドプログラムにおける正確なパフォーマンスモデリングを可能にする。
• Valgrindベースのプロファイラーは、他の重い分析ツールと同等のオーバーヘッドを達成しており、動的インストルメンテーションの影響にもかかわらず、実世界での利用に耐える。
• 従来の手法よりもはるかに多くのパフォーマンスポイントを1回のプロファイリングセッションで収集でき、コスト関数推定の分解能と信頼性が向上する。
• MySQLとvipsにおける事例研究では、従来の入力に依存するプロファイラーに比べ、並列実行における相互作用に起因するボトルネックの特定がより正確に可能であることが示された。
• この手法は、スレッド由来の入力と外部入力を正しく識別し、誤った入力サイズ推定によって生じる誤ったパフォーマンスプロットを回避する。
• SPEC OMP2012およびPARSECベンチマークを用いた実験的評価により、多様なマルチスレッドワークロードにおいて、本手法のスケーラビリティと頑健性が確認された。