[논문 리뷰] Deoptless: Speculation with Dispatched On-Stack Replacement and Specialized Continuations

Olivier Flückiger, Jan Ječmen외 2명|arXiv (Cornell University)|2022. 03. 04.

Parallel Computing and Optimization Techniques참고 문헌 26인용 수 5

한 줄 요약

이 논문은 즉시 컴파일 기법인 deoptless를 소개한다. deoptless는 기존의 탈최적화를 전환 가능한 전문화된 계속 상태(continuations)로 대체하여, 추측적 최적화가 실패할 경우 성능 저하를 방지한다. 런타임 컨텍스트에 기반해 동적으로 최적화된 계속 상태를 선택함으로써, 실패한 추측에 대한 복구 속도를 높이며, 기존의 탈최적화 대비 실제 벤치마크에서 최대 35×의 성능 향상을 달성한다.

ABSTRACT

Just-in-time compilation provides significant performance improvements for programs written in dynamic languages. These benefits come from the ability of the compiler to speculate about likely cases and generate optimized code for these. Unavoidably, speculations sometimes fail and the optimizations must be reverted. In some pathological cases, this can leave the program stuck with suboptimal code. In this paper we propose deoptless, a technique that replaces deoptimization points with dispatched specialized continuations. The goal of deoptless is to take a step towards providing users with a more transparent performance model in which mysterious slowdowns are less frequent and grave.

연구 동기 및 목표

• 즉시 컴파일러에서 탈최적화로 인한 성능 병목 현상을 해결하기 위해.
• 추측적 최적화가 실패할 경우 더 느린 타이어로 되돌아가야 하는 필요성을 제거하기 위해.
• 동적 언어를 위한 더 예측 가능하고 성능이 뛰어난 실행 모델을 제공하기 위해.
• 후행 인터프리터 대신 최적화된, 컨텍스트 기반의 계속 상태를 사용해 실패한 추측에서 복구할 수 있도록 하기 위해.
• OSR 포인트에서 실제 실행 컨텍스트에 특화된 코드를 생성함으로써 최고 성능을 향상시키기 위해.

제안 방법

• 기존의 탈최적화를 전환 가능한 스택에 올리는 복제(OSR)를 통해 전문화된 계속 상태로 대체하여 기존의 베이스라인 코드로 되돌아가는 것을 방지한다.
• 각 OSR 포인트에서 서로 다른 런타임 가정 하에 전문화된 여러 최적화된 계속 상태를 유지한다.
• OSR 종료 지점에서 컨텍스트 디스패치를 사용해 현재 실행 상태에 가장 적합한 계속 상태를 선택한다.
• 원본 함수와 그 최적화된 코드를 재사용하기 위해 유지하여 점진적인 일반화를 방지한다.
• 유형 추론과 피드백을 활용해 오래된 프로파일 데이터를 오버라이드하고 계속 상태 선택을 안내한다.
• 계속 상태의 수를 제한하며, 제한에 도달하면 전통적인 탈최적화로 대체한다.

실험 결과

연구 질문

• RQ1 deoptless는 JIT 컴파일러에서 탈최적화로 인한 성능 저하를 제거할 수 있는가?
• RQ2 실패한 추측 후 복구 속도 측면에서 deoptless는 기존 탈최적화 방식과 어떻게 비교되는가?
• RQ3 deoptless는 컨텍스트 기반 전문화된 계속 상태를 생성함으로써 최고 성능을 향상시킬 수 있는가?
• RQ4 동적 타입 변화가 있는 실제 워크로드에 대해 deoptless의 영향은 어떠한가?
• RQ5 프로파일 데이터가 오래되었거나 잘못된 경우 deoptless는 어떻게 대처하는가?

주요 결과

• 임의의 가정이 실패하는 합성 벤치마크에서 deoptless는 최대 9.1× 빠른 실행 속도를 달성했으며, 모든 벤치마크가 기준 대비 최소 1.9× 빠르게 실행되었다.
• 열 기반 합계 벤치마크에서 deoptless는 탈최적화 복구 속도가 더 빨라 기준 대비 35×의 성능 향상을 보였다.
• 레이 트레이서 벤치마크에서는 타입 변화로 인한 저하 현상이 일관되게 완화되어, deoptless가 실제 환경에서 효과적임을 입증했다.
• RSA 벤치마크에서 deoptless는 프로파일 기반 재최적화보다 뛰어나며, 최고 성능 향상의 1.4×를 달성했다.
• 오래된 유형 피드백을 다루는 데 있어 기술이 강건하며, 컨텍스트 인식 기반 계속 상태 디스패치를 통해 높은 성능을 유지한다.
• 모든 벤치마크에서 deoptless가 느려지지 않았으며, 다양한 워크로드에서 일관된 성능 향상을 보였다.