[논문 리뷰] Clash of the Lambdas

Aggelos Biboudis, Nick Palladinos외 1명|arXiv (Cornell University)|2014. 06. 25.

Advanced Database Systems and Queries참고 문헌 7인용 수 8

한 줄 요약

이 논문은 JVM 및 .NET 플랫폼에서 자바, C#, F#, 스칼라의 람다 기반 스트리밍 API 성능을 평가하며, 구현 비용을 분리하기 위해 마이크로 벤치마킹 결과를 측정한다. 자바의 성숙한 JIT 및 구현 기법이 높은 성능을 낸 반면, 스칼라블리츠 및 린쿼티마이저와 같은 최적화 프레임워크가 일반적인 쿼리 패턴에 대해 효율성을 크게 향상시킨다.

ABSTRACT

The introduction of lambdas in Java 8 completes the slate of statically-typed, mainstream languages with both object-oriented and functional features. The main motivation for lambdas in Java has been to facilitate stream-based declarative APIs, and, therefore, easier parallelism. In this paper, we evaluate the performance impact of lambda abstraction employed in stream processing, for a variety of high-level languages that run on a virtual machine (C#, F#, Java and Scala) and runtime platforms (JVM on Linux and Windows, .NET CLR for Windows, Mono for Linux). Furthermore, we evaluate the performance gain that two optimizing libraries (ScalaBlitz and LinqOptimizer) can offer for C#, F# and Scala. Our study is based on small-scale throughput-benchmarking, with significant care to isolate different factors, consult experts on the systems involved, and identify causes and opportunities. We find that Java exhibits high implementation maturity, which is a dominant factor in benchmarks. At the same time, optimizing frameworks can be highly effective for common query patterns.

연구 동기 및 목표

• 여러 고수준의 VM 기반 언어에서 람다 추상화의 성능 오버헤드를 스트리밍 API 전반에 걸쳐 평가하기 위해.
• JVM 및 .NET과 같은 다른 런타임 플랫폼에서 자바, C#, F#, 스칼라의 구현 성숙도와 최적화 효과성을 비교하기 위해.
• 일반적인 스트리밍 워크로드에 영향을 주는 최적화 라이브러리(예: 스칼라블리츠, 린쿼티마이저)의 영향을 평가하기 위해.
• 상자화(boxing), GC 압력, JIT 동작과 같은 성능 저하 요인을 람다 중심 워크로드에서 분리하고 분석하기 위해.
• 스트림 API에서 내부 반복 또는 외부 반복이 성능과 확장성에 영향을 주는지 탐구하기 위해.

제안 방법

• 모든 언어 간에 동일한 데이터 유형과 의미론적 추상화를 사용하여 리눅스 및 윈도우 플랫폼에서 마이크로 벤치마킹을 수행하였다.
• 기본 연산(예: 짝수 제곱의 합)부터 여러 조합자 조합이 포함된 복잡한 파이프라인까지 점차 복잡도가 증가하는 제어된 벤치마크 세트를 사용하였다.
• 순차적 및 병렬 성능을 측정하였으며, 주로 처리량과 GC 동작에 중점을 두었다.
• 전문가 지도 하에 튜닝을 적용하였으며, JIT 동작 영향을 분리하기 위해 계층적 컴파일을 비활성화하였다.
• 의도적 오버헤드 없이 언어 간 비교를 위해 수동 상자화(Refs 벤치마크)의 영향을 평가하였다.
• 런타임 비용을 줄이기 위해 전용 라이브러리(스칼라블리츠, 린쿼티마이저)와 컴파일러 플러그인(예: 마이너박싱)의 사용을 탐구하였다.

실험 결과

연구 질문

• RQ1 JVM 및 .NET 플랫폼에서 자바, C#, F#, 스칼라의 람다 기반 스트리밍 API 성능 특성은 어떻게 비교되는가?
• RQ2 자바 런타임의 구현 성숙도(예: C2 JIT)가 람다 중심 워크로드에서 성능에 얼마나 큰 영향을 미치는가?
• RQ3 스칼라블리츠 및 린쿼티마이저와 같은 최적화 프레임워크는 일반적인 스트리밍 쿼리 패턴의 비용을 얼마나 효과적으로 줄이는가?
• RQ4 자동 상자화가 성능 저하에 어떤 역할을 하는가? 수동 상자화는 언어 간 비교에 어떻게 영향을 미치는가?
• RQ5 JIT 컴파일 동작(특히 계층적 컴파일)은 스칼라 및 자바 벤치마크에서 성능에 어떻게 영향을 미치는가?

주요 결과

• 자바는 C2 JIT 컴파일러가 모든 벤치마크에서 일관되게 뛰어난 성능을 보여주는 높은 구현 성숙도를 보였다.
• 계층적 컴iles이 비활성화된 상태에서 대부분의 스칼라 및 자바 벤치마크에서 성능 향상이 관찰되었으며, 스칼라에서 계층적 컴파일이 활성화된 경우 약 10%의 성능 저하가 발생하였다.
• 수동 상자화(Refs 벤치마크)에서 자바는 약간의 우위를 보였지만, 의도적 오버헤드가 없어진 상태에서 스칼라의 성능은 직접 비교 가능해졌다.
• 스칼라-스트릭트 병렬 테스트는 내부 변환기의 거의 완벽한 인lines와 효율적인 메모리 사용 덕분에 높은 경쟁력을 확보하였다.
• 스칼라의 필터드 트레이트에서 길이 연산자 내의 지연 값에서 발생하는 내부 상자화로 인해 조건부로 GC 압력이 발생했으며, 이는 병렬 실행 중에도 측정 가능한 영향을 미쳤다.
• 스칼라블리츠 및 린쿼티마이저와 같은 최적화 프레임워크는 일반적인 쿼리 패턴에 대해 뚜렷한 성능 향상을 보였으며, 이는 자바에도 유사한 도구의 잠재력이 크다는 것을 시사한다.