[論文レビュー] DJXPerf: Identifying Memory Inefficiencies via Object-centric Profiling for Java

Bolun Li, Pengfei Su+3 more|arXiv (Cornell University)|Apr 7, 2021

Parallel Computing and Optimization Techniques参考文献 57被引用数 5

ひとこと要約

DJXPerf は、Java のための軽量でオブジェクト中心のメモリプロファイラーであり、ハードウェアのパフォーマンスモニタリングカウンタ（PMU）を用いて、キャッシュミスやTLBミスを特定のJavaオブジェクトに帰属づける。これにより、データローカリティの悪さやメモリの肥大化といったメモリ非効率性を特定できる。実行時オーバーヘッドは約8%、メモリオーバーヘッドは約5%に抑えられ、コードやVMの変更が不要であり、実世界のJavaおよびScalaアプリケーションで顕著な高速化を実現する最適化を支援する。

ABSTRACT

Java is the "go-to" programming language choice for developing scalable enterprise cloud applications. In such systems, even a few percent CPU time savings can offer a significant competitive advantage and cost saving. Although performance tools abound in Java, those that focus on the data locality in the memory hierarchy are rare. In this paper, we present DJXPerf, a lightweight, object-centric memory profiler for Java, which associates memory-hierarchy performance metrics (e.g., cache/TLB misses) with Java objects. DJXPerf uses statistical sampling of hardware performance monitoring counters to attribute metrics to not only source code locations but also Java objects. DJXPerf presents Java object allocation contexts combined with their usage contexts and presents them ordered by the poor locality behaviors. DJXPerf's performance measurement, object attribution, and presentation techniques guide optimizing object allocation, layout, and access patterns. DJXPerf incurs only ~8% runtime overhead and ~5% memory overhead on average, requiring no modifications to hardware, OS, Java virtual machine, or application source code, which makes it attractive to use in production. Guided by DJXPerf, we study and optimize a number of Java and Scala programs, including well-known benchmarks and real-world applications, and demonstrate significant speedups.

研究の動機と目的

• Java のようなマネージド言語において、オブジェクトレベルでのデータローカリティとメモリ効率性を分析できるツールの不足に対処すること。
• 企業向けのJavaアプリケーションにおいて、空間的・時間的ローカリティの悪さやメモリの肥大化が引き起こすパフォーマンスボトルネックを特定すること。
• JVM、OS、アプリケーションコードの変更なしに、特定のJavaオブジェクトにハードウェアパフォーマンスメトリクスを帰属づける、本番環境対応で低オーバーヘッドのプロファイリングソリューションを提供すること。
• 実際のメモリ階層の挙動に基づいて、オブジェクトの割り当て、レイアウト、アクセスパターンの最適化を開発者が支援すること。
• オブジェクト中心のインサイトを活用して、実世界およびベンチマークのJava/Scalaアプリケーションで測定可能なパフォーマンス向上を実証すること。

提案手法

• アプリケーション実行中に低レベルのキャッシュミスおよびTLBミス統計を収集するために、ハードウェアパフォーマンスモニタリングユニット（PMU）を活用する。
• 軽量なJavaバイトコードインストルメンテーションを用いて、PMUイベントを特定のJavaオブジェクトおよびその割り当てコンテキストに関連付ける。
• 統計的サンプリングを適用して、パフォーマンスメトリクスをソースコードの場所および個々のオブジェクトに帰属づけ、オブジェクト中心のプロファイリングを実現する。
• オブジェクトの割り当て場所とその使用パターン・アクセス頻度を相関させ、ローカリティが悪い、またはメモリが肥大化しているオブジェクトを特定する。
• パフォーマンスへの影響が大きい順にプロファイリング結果を提示し、メモリ遅延に最も寄与しているオブジェクトおよびコード領域を強調表示する。
• JVM、OS、アプリケーションソースコードの変更なしに、非侵襲的で本番環境に適した設計を採用する。

Figure 1. Code-centric vs. object-centric profiling. $O$ denotes an object and $I$ denotes a memory access instruction; tuple $\langle O_{m},I_{n}\rangle$ denotes that instruction $I_{n}$ accesses object $O_{m}$ .

実験結果

リサーチクエスチョン

• RQ1 ハードウェアパフォーマンスモニタリングカウンタ（PMU）を用いて、キャッシュミスなどのメモリ階層メトリクスを個々のJavaオブジェクトに帰属づけることは効果的に行えるか？
• RQ2 オブジェクト中心のプロファイリングは、マネージド言語におけるメモリの肥大化やデータローカリティの悪さといったメモリ非効率性の特定をどのように改善できるか？
• RQ3 JVM やアプリケーションコードの変更なしに、PMUイベントをオブジェクトに帰属づけるプロファイリングシステムの実行時およびメモリオーバーヘッドはどの程度か？
• RQ4 オブジェクト中心のプロファイリングは、実世界のJavaおよびScalaアプリケーションで測定可能なパフォーマンス向上をもたらす実用的な最適化をどのように導くことができるか？
• RQ5 従来のコード中心のプロファイリングと比較して、オブジェクト中心のプロファイリングは、隠れたパフォーマンスボトルネックをどのようにより効果的に明らかにできるか？

主な発見

• DJXPerf は、luindex や lusearch などの Dacapo ベンチマークを含む、実世界のJavaおよびScalaアプリケーションにおいて、メモリの肥大化やローカリティの悪さの問題を効果的に特定した。
• Dacapo 2006 の luindex ベンチマークでは、メソッド内での配列割り当てを外に出すことでメモリフットプリントが減少し、パフォーマンスが向上したが、キャッシュミス数が少なかったため、スループットの向上はわずか（0.5%）にとどまった。
• lusearch ベンチマークでは、TopDocCollector オブジェクトを静的フィールドとしてキャッシュすることで実行時間が1%短縮され、オブジェクト中心の最適化による測定可能なが、限定的な利得であった。
• DJXPerf は平均して約8%の実行時オーバーヘッドと約5%のメモリオーバーヘッドしか発生せず、本番環境でのデプロイに適している。
• プロファイラーは、実際のメモリアクセス行動に基づいてオブジェクトの割り当ておよびレイアウトパターンを最適化する手がかりを提供し、複数の事例で顕著な高速化を実現した。
• オブジェクト中心のプロファイリングは、従来のコード中心のプロファイラーでは見えないパフォーマンス問題を明らかにし、特にメモリの肥大化や散らかったオブジェクトアクセスパターンに関連する問題を特定できる。

Figure 2. Overview of DJXPerf ’s object-centric analysis.