[논문 리뷰] DINAMITE: A modern approach to memory performance profiling

Svetozar Miučin, Conor Brady외 1명|arXiv (Cornell University)|2016. 06. 01.

Parallel Computing and Optimization Techniques참고 문헌 18인용 수 3

한 줄 요약

DINAMITE는 메모리 성능 프로파일링을 위한 컴파일러 기반 동적 인스트루멘테이션 및 스트림 처리 프레임워크로, 정밀한 소스 수준 추적을 위해 LLVM을 활용하고 실시간 분석을 위해 Spark Streaming을 사용한다. 이는 전체 메모리 액세스 트레이스를 대상으로 고정밀도 성능 분석을 가능하게 하며, 캐시 병목 현상과 데이터 레이아웃 문제를 식별함으로써 애플리케이션에서 15–20% 성능 향상과 키-밸류 스토어에서 20배의 성능 향상을 달성한다.

ABSTRACT

Diagnosing and fixing performance problems on multicore machines with deep memory hierarchies is extremely challenging. Certain problems are best addressed when we can analyze the entire trace of program execution, e.g., every memory access. Unfortunately such detailed execution logs are very large and cannot be analyzed by direct inspection. We present DINAMITE: a toolkit for Dynamic INstrumentation and Analysis for MassIve Trace Exploration. DINAMITE is a collection of tools for end-to-end performance analysis: from the LLVM compiler pass that instruments the program to plug-and-play tools that use a modern data analytics engine Spark Streaming for trace introspection. Using DINAMITE we found opportunities to improve data layout in several applications that resulted in 15-20% performance improvements and found a shared-variable bottleneck in a popular key-value store, whose elimination improved performance by 20x.

연구 동기 및 목표

• 깊은 메모리 계층을 가진 다중 코어 시스템에서 메모리 성능 병목 현상을 진단하는 데 도전하는 것.
• 기존 도구들이 세부 메모리 액세스 패턴을 분석하는 데 있어 이식성, 일반성 또는 유연성에 결함이 있다는 점을 해결하는 것.
• 최소한의 런타임 오버헤드로 스케일러블하고 확장 가능한 프레임워크를 제공하여 엔드 투 엔드 메모리 트레이스 분석을 가능하게 하는 것.
• 정밀한 소스 수준의 트레이스 인스펙션과 스트림 분석을 통해 고급 메모리 최적화를 가능하게 하는 것.
• 하드웨어나 OS에 종속되지 않는 유연하고 플러그인 방식의 메모리 액세스 패턴 분석을 지원하는 것.

제안 방법

• 모든 메모리 액세스에 대해 세밀한 추적 코드를 삽입하기 위해 LLVM 패스를 사용해 프로그램을 컴파일 타임에 인스트루멘테이션하는 것.
• 버퍼링을 통해 효율성을 확보하면서도 소스 위치, 변수 이름, 타입, 값, 액세스 유형을 포함한 세부 트레이스 데이터를 이진 형식으로 캡처하는 것.
• Spark Streaming을 사용해 트레이스를 실시간으로 처리함으로써 대규모 트레이스 저장소가 필요 없도록 하는 것.
• 스칼라 또는 기타 언어로 구현된 사용자 정의 분석 기능을 지원하는 모듈러 아키텍처를 통해 플러그인 기반 분석 도구를 활성화하는 것.
• 캐시 시뮬레이터를 파이프라인에 통합하여 하드웨어 수준의 동작을 재현하고 최적화 전략의 타당성을 검증하는 것.
• LLVM에서 제공하는 정밀한 디버그 정보를 활용해 트레이스 메타데이터의 소스 수준 정확도를 유지하는 것.

실험 결과

연구 질문

• RQ1 컴파일러 기반 인스트루멘테이션 프레임워크가 전체 정밀도의 메모리 트레이스 수집을 가능하게 하면서도 낮은 런타임 오버헤드를 달성할 수 있는가?
• RQ2 메모리 트레이스의 실시간 스트림 처리가 기존의 트레이스 저장 방식을 대체할 수 있으며, 확장 가능하고 상호작용 가능한 성능 분석을 가능하게 할 수 있는가?
• RQ3 이러한 시스템이 가짜 공유 및 나쁜 데이터 국지성과 같은 복잡한 메모리 병목 현상을 어느 정도 식별하고 해결할 수 있는가?
• RQ4 플러그인 기반 분석 프레임워크의 유연성은 하드웨어나 OS에 종속된 단일 구조의 도구들에 비해 성능 문제 식별 능력에서 어떻게 비교되는가?
• RQ5 이 프레임워크는 다수의 캐시 레벨 시뮬레이션과 세밀한 액세스 패턴 분석을 지원하도록 확장될 수 있는가?

주요 결과

• DINAMITE는 SPEC2006의 429.mcf에서 마지막 레벨 캐시 미스 비율을 55% 감소시키고 성능을 12% 향상시켰다.
• PARSEC의 fluidanimate 애플리케이션에서 프레임워크는 LLC 미스 비율을 50% 감소시키고 성능을 15% 향상시켰다.
• DINAMITE의 두 번째 도구를 통해 구조 분할을 적용함으로써 429.mcf의 LLC 미스 비율은 60% 감소했고, 런타임은 20% 감소했다.
• DINAMITE는 인기 있는 키-밸류 스토어인 WiredTiger에서 공유 변수 병목 현상을 탐지했으며, 이로 인한 수정으로 성능이 20배 향상되었다.
• 모든 메모리 액세스를 인스트루멘테이션했음에도 불구하고, 런타임 속도 저하가 Pin과 Valgrind와 같은 최첨단 도구들과 유사한 수준이었다.
• Spark Streaming 통합 덕분에 저장소 오버헤드를 최소화하면서도 실시간 분석이 가능해져 확장 가능하고 상호작용 가능한 메모리 프로파일링을 지원했다.