[논문 리뷰] DJXPerf: Identifying Memory Inefficiencies via Object-centric Profiling for Java

Bolun Li, Pengfei Su외 3명|arXiv (Cornell University)|2021. 04. 07.

Parallel Computing and Optimization Techniques참고 문헌 57인용 수 5

한 줄 요약

DJXPerf는 Java용 경량이며 객체 중심의 메모리 프로파일러로, 하드웨어 성능 모니터링 카운터(PMU)를 사용하여 캐시 및 TLB 미스를 특정 Java 객체에 할당함으로써 개발자가 데이터 국소성 부족과 메모리 과잉 사용과 같은 메모리 비효율성을 식별할 수 있도록 한다. 런타임 오버헤드 약 8%와 메모리 오버헤드 약 5%만을 유발하며, 코드나 VM 변경 없이도 작동하며, 실제 Java 및 Scala 애플리케이션에서 상당한 성능 향상을 이끌어내는 최적화를 안내한다.

ABSTRACT

Java is the "go-to" programming language choice for developing scalable enterprise cloud applications. In such systems, even a few percent CPU time savings can offer a significant competitive advantage and cost saving. Although performance tools abound in Java, those that focus on the data locality in the memory hierarchy are rare. In this paper, we present DJXPerf, a lightweight, object-centric memory profiler for Java, which associates memory-hierarchy performance metrics (e.g., cache/TLB misses) with Java objects. DJXPerf uses statistical sampling of hardware performance monitoring counters to attribute metrics to not only source code locations but also Java objects. DJXPerf presents Java object allocation contexts combined with their usage contexts and presents them ordered by the poor locality behaviors. DJXPerf's performance measurement, object attribution, and presentation techniques guide optimizing object allocation, layout, and access patterns. DJXPerf incurs only ~8% runtime overhead and ~5% memory overhead on average, requiring no modifications to hardware, OS, Java virtual machine, or application source code, which makes it attractive to use in production. Guided by DJXPerf, we study and optimize a number of Java and Scala programs, including well-known benchmarks and real-world applications, and demonstrate significant speedups.

연구 동기 및 목표

• 관리되는 언어인 Java와 같은 언어에서 객체 수준에서 데이터 국소성과 메모리 효율성을 분석할 수 있는 도구의 부족을 해결하기 위해.
• 기업용 Java 애플리케이션에서 나쁜 공간적 및 시간적 국소성과 메모리 과잉 사용으로 인한 성능 저하 요인을 식별하기 위해.
• JVM, 운영체제 또는 애플리케이션 코드를 수정하지 않고도 특정 Java 객체에 하드웨어 성능 메트릭을 할당하는 생산용으로 사용 가능한 낮은 오버헤드의 프로파일링 솔루션을 제공하기 위해.
• 실제 메모리 계층 구조 동작에 기반해 객체 할당, 레이아웃 및 접근 패턴 최적화를 안내하기 위해.
• 객체 중심의 통찰을 바탕으로 실제 Java/Scala 애플리케이션과 벤치마크에서 측정 가능한 성능 향상을 입증하기 위해.

제안 방법

• 응용 프로그램 실행 중에 캐시 및 TLB 미스 통계를 수집하기 위해 하드웨어 성능 모니터링 유닛(PMU)을 활용한다.
• 경량적인 자바 바이트코드 인스트루먼테이션을 사용하여 PMU 이벤트를 특정 Java 객체와 그 할당 컨텍스트에 연결한다.
• 통계적 샘플링을 적용하여 성능 메트릭을 소스 코드 위치와 개별 객체에 할당함으로써 객체 중심 프로파일링을 가능하게 한다.
• 객체 할당 지점과 사용 패턴, 접근 빈도를 연관지어 나쁜 국소성 또는 메모리 과잉 사용을 겪는 객체를 식별한다.
• 성능 영향도 순으로 프로파일링 결과를 정렬하여 메모리 지연에 가장 큰 기여를 하는 객체와 코드 영역을 부각시킨다.
• JVM, 운영체제 또는 애플리케이션 소스 코드를 수정하지 않는 비침습적이고 생산 환경에 적합한 설계를 채택한다.

Figure 1. Code-centric vs. object-centric profiling. $O$ denotes an object and $I$ denotes a memory access instruction; tuple $\langle O_{m},I_{n}\rangle$ denotes that instruction $I_{n}$ accesses object $O_{m}$ .

실험 결과

연구 질문

• RQ1 하드웨어 성능 모니터링 카운터(PMU)를 효과적으로 사용하여 개별 Java 객체에 캐시 미스와 같은 메모리 계층 메트릭을 할당할 수 있는가?
• RQ2 어떻게 객체 중심 프로파일링이 관리되는 언어에서 메모리 과잉 사용과 나쁜 데이터 국소성과 같은 메모리 비효율성을 향상시킬 수 있는가?
• RQ3 JVM이나 응용 프로그램 코드를 수정하지 않고도 PMU 이벤트를 객체에 할당하는 프로파일링 시스템의 런타임 및 메모리 오버헤드는 어느 정도인가?
• RQ4 객체 중심 프로파일링은 실제 Java 및 Scala 애플리케이션에서 측정 가능한 성능 향상을 이끌어내는 실용적인 최적화를 안내할 수 있는가?
• RQ5 전통적인 코드 중심 프로파일링과 비교했을 때 객체 중심 프로파일링은 숨겨진 성능 저하 요인을 어떻게 더 잘 드러내는가?

주요 결과

• DJXPerf는 Dacapo 벤치마크인 luindex와 lusearch를 포함한 실제 Java 및 Scala 애플리케이션에서 메모리 과잉 사용과 나쁜 국소성 문제를 성공적으로 식별했다.
• Dacapo 2006의 luindex 벤치마크에서 메서드 외부로 배열 할당을 이전함으로써 메모리 프로파일을 줄이고 성능을 향상시켰지만, 캐시 미스 수가 낮아 속도 향상은 미미(0.5%)했다.
• lusearch 벤치마크의 경우, TopDocCollector 객체를 정적 필드로 캐싱함으로써 실행 시간을 1% 감소시켜 객체 중심 최적화가 측정 가능한 그러나 보수적인 성과 향상을 이끌어냈다.
• DJXPerf는 평균 약 8%의 런타임 오버헤드와 약 5%의 메모리 오버헤드만을 유발하여 생산 환경에 적합하다.
• 프로파일러는 실제 메모리 접근 행동에 기반해 객체 할당 및 레이아웃 패턴 최적화를 가능하게 하여 여러 사례 연구에서 상당한 속도 향상을 이끌어냈다.
• 객체 중심 프로파일링은 전통적인 코드 중심 프로파일러가 보이지 않는 성능 문제를 드러내며, 특히 메모리 과잉 사용과 산산이 흩어진 객체 접근 패턴과 관련된 문제들을 특히 잘 드러낸다.

Figure 2. Overview of DJXPerf ’s object-centric analysis.