[논문 리뷰] Coz: Finding Code that Counts with Causal Profiling

Charlie Curtsinger, Emery D. Berger|arXiv (Cornell University)|2016. 08. 12.

Software System Performance and Reliability인용 수 4

한 줄 요약

이 논문은 응용 프로그램의 처리량 또는 지연 시간을 가장 크게 향상시킬 수 있는 코드 영역을 식별하는 새로운 성능 분석 기법인 인과적 프로파일링을 소개한다. 동시 실행을 통제적으로 저속화하여 코드 라인을 가상으로 빠르게 하는 방식으로, \coz\xspace는 최적화 영향을 정확히 예측한다 — 실제 시스템에서 코드 수정을 최소로 하여 9%에서 68%의 성능 향상을 달성한다.

ABSTRACT

Improving performance is a central concern for software developers. To locate optimization opportunities, developers rely on software profilers. However, these profilers only report where programs spent their time: optimizing that code may have no impact on performance. Past profilers thus both waste developer time and make it difficult for them to uncover significant optimization opportunities. This paper introduces causal profiling. Unlike past profiling approaches, causal profiling indicates exactly where programmers should focus their optimization efforts, and quantifies their potential impact. Causal profiling works by running performance experiments during program execution. Each experiment calculates the impact of any potential optimization by virtually speeding up code: inserting pauses that slow down all other code running concurrently. The key insight is that this slowdown has the same relative effect as running that line faster, thus "virtually" speeding it up. We present Coz, a causal profiler, which we evaluate on a range of highly-tuned applications: Memcached, SQLite, and the PARSEC benchmark suite. Coz identifies previously unknown optimization opportunities that are both significant and targeted. Guided by Coz, we improve the performance of Memcached by 9%, SQLite by 25%, and accelerate six PARSEC applications by as much as 68%; in most cases, these optimizations involve modifying under 10 lines of code.

연구 동기 및 목표

• 기존 프로파일러가 실행 시간만 보고할 뿐, 해당 코드를 최적화했을 때 실제 성능에 미치는 영향을 파악하지 못하는 한계를 해결하기 위해.
• 단지 실행 시간이 오래 걸리는 코드가 아니라, 처리량이나 지연 시간에 실제로 영향을 주는 최적화 기회를 개발자에게 안내하기 위해.
• 가상의 코드 최적화에 대한 성능 영향을 정량화하기 위한 정밀하고 실험 기반의 방법을 제공하기 위해.
• 높이 최적화된 동시 실행 응용 프로그램에서 최적화 기회를 효율적이고 정확하게 식별할 수 있도록 하기 위해.
• 기존 도구들이 명시적 스레드 통신이나 확장성 메트릭스에만 초점을 맞추는 데서 비롯되는 단점을 극복하기 위해.

제안 방법

• 인과적 프로파일링은 특정 라인의 코드 최적화 효과를 시뮬레이션하기 위해, 동시에 실행 중인 다른 코드에 인위적 일시정지를 삽입함으로써 가상의 속도 향상을 구현한다.
• 각 성능 실험은 특정 라인이 정해진 비율만큼 가상으로 빨라졌을 때 프로그램의 처리량 또는 지연 시간이 얼마나 향상되는지를 측정한다.
• 이 방법은 다른 모든 코드를 실행 중에 느리게 하면, 그 라인의 실행에 대해 상대적으로 빨라지는 효과가 동일하다는 통찰에 기반한다.
• 프로파일러는 관심 있는 모든 라인에 대해 이러한 실험을 반복하여 최적화 영향의 인과 모델을 구축한다.
• 결과는 각 라인의 다양한 가상 속도 향상 수준에서 기대되는 성능 향상도를 보여주는 프로파일로 시각화된다.
• 이 방법은 표준 성능 모니터링 도구와 통합되며 실제 응용 프로그램에서 효율적으로 작동하는 \coz라는 프로토타입 인과적 프로파일러로도 구현되어 있다.

실험 결과

연구 질문

• RQ1 실행 시간 측정을 넘어서 특정 라인의 최적화가 성능에 미치는 영향을 정확히 예측할 수 있는 프로파일링 기법이 가능한가?
• RQ2 동시 실행 코드의 통제된 저속화를 통한 가상 속도 향상 방식이 최적화 이점 추정에 신뢰성 있고 효율적인가?
• RQ3 인과적 프로파일링은 실제 세계의 높이 최적화된 시스템에서 기존에 알려지지 않은 고성능 최적화 기회를 식별할 수 있는가?
• RQ4 인과적 프로파일링을 통해 개발자가 최소한의 코드 수정으로 얼마나 큰 성능 향상을 이룰 수 있는가?
• RQ5 기존 프로파일러 및 다른 성능 분석 도구와 비교해 인과적 프로파일링은 의미 있는 최적화 대상을 식별하는 데 얼마나 효과적인가?

주요 결과

• 인과적 프로파일링은 예제 프로그램에서 함수 $f_a$를 최적화하면 최대 4.5%의 성능 향상만 가능하며, $f_b$는 비록 실행 시간이 비슷하나 최적화해도 영향이 없다는 것을 정확히 식별한다.
• \coz 프로파일러는 실제 값과 0.5% 이내로 이러한 영향을 정확히 예측하여, 최적화 효과 예측의 높은 정밀도를 입증한다.
• \coz에 의해 안내된 결과, Memcached에서는 9%의 성능 향상을, SQLite에서는 25%의 향상을 달성했으며, PARSEC 응용 프로그램 6개에서는 최대 68%의 성능 향상을 이룩했다.
• 대부분의 경우, 10줄 이내의 코드 수정으로 성능 향상을 달성했으며, 이는 높은 최적화 효율성을 의미한다.
• 이 방법은 명시적 스레드 동기화 외에도 캐시 일관성, 스케줄링 의존성, I/O 등에서 기인하는 성능 저하도 성공적으로 식별한다.
• 기존 프로파일러와 달리, \coz는 처리량이나 지연 시간과 같은 종단 간 성능 메트릭스에 실제로 영향을 주는 코드와 단지 실행 시간이 오래 걸리는 코드를 구분함으로써 개발자를 오해의 위험에서 피한다.