[논문 리뷰] BOLT: A Practical Binary Optimizer for Data Centers and Beyond

Maksim Panchenko, Rafael Auler외 2명|arXiv (Cornell University)|2018. 07. 18.

Cloud Computing and Resource Management인용 수 4

한 줄 요약

BOLT는 LLVM 기반의 후기 링크 바이너리 최적화 도구로, 샘플 기반 프로파일링을 활용해 대규모 데이터센터 애플리케이션의 성능을 향상시킨다. 코드 레이아웃 최적화를 위해 정확한 프로파일링을 활용함으로써, 실제 운영 워크로드에서 최대 8.0%의 속도 향상을 기록했으며, GCC 및 Clang과 같은 컴파일러에서는 최대 20.4%의 성능 향상을 달성했다. 이는 피드백 기반 최적화 및 링크 타임 최적화와 함께 사용되더라도 성능 향상이 유지되며, 후기 링크 최적화가 이전 단계의 최적화를 대체하기보다는 보완한다는 점을 입증한다.

ABSTRACT

Performance optimization for large-scale applications has recently become more important as computation continues to move towards data centers. Data-center applications are generally very large and complex, which makes code layout an important optimization to improve their performance. This has motivated recent investigation of practical techniques to improve code layout at both compile time and link time. Although post-link optimizers had some success in the past, no recent work has explored their benefits in the context of modern data-center applications. In this paper, we present BOLT, a post-link optimizer built on top of the LLVM framework. Utilizing sample-based profiling, BOLT boosts the performance of real-world applications even for highly optimized binaries built with both feedback-driven optimizations (FDO) and link-time optimizations (LTO). We demonstrate that post-link performance improvements are complementary to conventional compiler optimizations, even when the latter are done at a whole-program level and in the presence of profile information. We evaluated BOLT on both Facebook data-center workloads and open-source compilers. For data-center applications, BOLT achieves up to 8.0% performance speedups on top of profile-guided function reordering and LTO. For the GCC and Clang compilers, our evaluation shows that BOLT speeds up their binaries by up to 20.4% on top of FDO and LTO, and up to 52.1% if the binaries are built without FDO and LTO.

연구 동기 및 목표

• 나이드한 코드 국소성과 캐시, 분기 예측기와 같은 하드웨어 구조에 가해지는 압력으로 인해 발생하는 대규모 복잡한 데이터센터 애플리케이션의 성능 저하 문제를 해결하기 위해.
• 실제 워크로드에서 후기 링크 최적화가 전통적인 컴파일 타임 및 링크 타임 피드백 기반 최적화(FDO)보다 우월하거나 보완적인지 탐색하기 위해.
• 바이너리 수준에서의 샘플 기반 프로파일링이 중간 표현으로 프로파일 데이터를 다시 매핑해야 하는 컴파일러 기반 접근 방식보다 더 정확한 코드 레이아웃을 가능하게 한다는 것을 입증하기 위해.
• LLVM 인프라스트럭처와 통합되며 생산 워크로드에 대응할 수 있는 실용적이고 오픈소스이며 재사용 가능한 바이너리 최적화 도구를 구축하기 위해.
• BOLT의 성능 향상 효과를 독립적으로 및 기존 최적화 기법들(예: FDO, LTO)과 함께 평가하기 위해.

제안 방법

• BOLT는 완전히 링크된 바이너리에서 후기 링크 최적화 도구로 작동하며, 실제 워크로드에서 수집한 샘플 기반 프로파일링 데이터를 바탕으로 코드 레이아웃 최적화를 이끌어낸다.
• LBR(Last Branch Record) 데이터를 포함한 하드웨어 성능 카운터에서 유래한 저수준 프로파일링 정보를 활용하여 바이너리 수준에서 세밀하고 정확한 실행 프로파일을 확보한다.
• 호출 빈도 및 실행 핫네스와 같은 피드백 기반 히우리스틱을 기반으로 함수와 기본 블록을 재정렬하여 명령어 캐시 및 분기 예측기 효율성을 향상시킨다.
• LLVM 인프라스트럭처 위에 구현되어 여러 지정어 아키텍처에서 재사용 가능하며 기존 컴iles 흐름과의 통합이 가능하다.
• 기계어에서 제어 흐름 및 데이터 흐름 정보를 재구성하기 위해 정적 바이너리 분석을 수행함으로써 소스 코드나 중간 표현 없이도 정확한 레이아웃 결정을 가능하게 한다.
• 증분 배포를 지원하며 수정되지 않은 바이너리에서 작동하므로 운영 오버헤드를 최소화하고 생산 환경에서의 사용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 중간 표현으로 프로파일 데이터를 다시 매핑할 필요 없이 바이너리 수준에서의 샘플 기반 프로파일링을 통해 컴파일러 기반 FDO보다 더 높은 코드 레이아웃 정확도를 달성할 수 있는가?
• RQ2 대규모 애플리케이션에서 후기 링크 최적화가 기존 피드백 기반 최적화 및 링크 타임 최적화와 중복되지 않고 얼마나 보완적인가?
• RQ3 FDO 및 LTO를 이미 사용하는 고도로 최적화된 바이너리에 후기 링크 코드 레이아웃 최적화를 적용했을 때 성능 향상이 얼마나 뚜렷한가?
• RQ4 LBR 기반 데이터와 같은 세밀한 프로파일링이 실사용 바이너리에서 기본 블록 및 함수 재정렬의 효과성에 어떤 영향을 미치는가?
• RQ5 LLVM 기반으로 구축된 실용적이고 생산 환경에서 사용 가능한 바이너리 최적화 도구가 다양한 실제 데이터센터 워크로드에서 측정 가능한 성능 향상을 제공할 수 있는가?

주요 결과

• BOLT는 FDO 및 LTO 이후에 적용되었을 때 페이스북의 실제 운영 데이터센터 워크로드에서 최대 8.0%의 성능 향상을 기록했으며, 이미 최적화된 바이너리에서도 뚜렷한 성능 향상을 보였다.
• GCC 및 Clang 컴파일러의 경우, FDO 및 LTO를 기반으로 최대 20.4%의 성능 향상을 달성했으며, FDO 및 LTO 없이 빌드된 바이너리에선 최대 52.1%의 성능 향상을 기록했다.
• 성능 향상의 주요 원인은 개선된 코드 레이아웃이며, 특히 LBR 기반 프로파일링을 사용할 경우 기본 블록 재정렬이 함수 재정렬보다 더 큰 기여를 했다.
• 바이너리 수준에서의 프로파일 정확도는 중간 표현으로 다시 매핑해야 하는 컴파일러 기반 접근 방식보다 더 나은 레이아웃 결정을 가능하게 하며, 이는 종종 정확도 손실을 유발한다.
• 후기 링크 최적화는 이전 단계의 FDO보다 劣화되지 않으며 오히려 보완적이다. FDO와 BOLT를 함께 사용할 경우 각각을 별도로 사용할 때보다 더 높은 성능을 달성한다.
• LBR의 사용은 HHVM에서 총 성능 향상의 약 2% 기여를 하며, 저수준 레이아웃 최적화를 위한 세밀한 프로파일링의 가치를 입증한다.