[논문 리뷰] Clash of the Lambdas Through the Lens of Streaming APIs

Aggelos Biboudis, Nick Palladinos외 1명|arXiv (Cornell University)|2014. 01. 01.

Logic, programming, and type systems참고 문헌 9인용 수 2

한 줄 요약

이 논문은 JVM 및 .NET 플랫폼에서 Java, C#, F#, Scala의 스트리밍 API에서 람다 추상화의 성능 영향을 평가한다. Java의 성숙한 구현은 뛰어난 성능을 보이며, ScalaBlitz 및 LinqOptimizer와 같은 최적화 라이브러리는 일반적인 쿼리 패턴에 대해 효율성을 크게 향상시킨다.

ABSTRACT

The introduction of lambdas in Java 8 completes the slate of statically-typed, mainstream languages with both object-oriented and functional features. The main motivation for lambdas in Java has been to facilitate stream-based declarative APIs, and, therefore, easier parallelism. In this paper, we evaluate the performance im-pact of lambda abstraction employed in stream processing, for a va-riety of high-level languages that run on a virtual machine (C#, F#, Java and Scala) and runtime platforms (JVM on Linux and Win-dows,.NET CLR for Windows, Mono for Linux). Furthermore, we evaluate the performance gain that two optimizing libraries (ScalaBlitz and LinqOptimizer) can offer for C#, F # and Scala. Our study is based on small-scale throughput-benchmarking, with sig-nificant care to isolate different factors, consult experts on the sys-tems involved, and identify causes and opportunities. We find that Java exhibits high implementation maturity, which is a dominant factor in benchmarks. At the same time, optimizing frameworks can be highly effective for common query patterns.

연구 동기 및 목표

• 다양한 고수준 언어에서 스트리밍 기반 선언적 API의 람다 추상화 성능 오버헤드를 평가하기 위해.
• 구현의 성숙도와 최적화 라이브러리가 기능 스타일 스트림 처리에서 런타임 성능에 미치는 영향을 조사하기 위해.
• 다른 가상 머신과 운영 체제에서 람다 실행의 성능 요인을 분리하고 분석하기 위해.
• 도메인 특화 최적화 라이브러리(ScalaBlitz, LinqOptimizer)가 일반적인 쿼리 패턴의 성능 향상에 얼마나 효과적인지 평가하기 위해.

제안 방법

• Java, C#, F#, Scala의 JVM 및 .NET CLR 플랫폼에서 소규모 스루풋 벤치마킹을 수행하여 성능 차이를 측정하였다.
• 런타임 플랫폼, 언어 기능, 라이브러리 사용과 같은 변수를 철저히 분리하여 정확한 성능 비교를 확보하였다.
• 시스템 전문가의 조언을 통해 성능 관찰 결과를 검증하고 성능 차이의 근본 원인을 특정하였다.
• 최적화 라이브러리(ScalaBlitz 및 LinqOptimizer)가 일반적인 스트림 쿼리 패턴에 미치는 영향을 평가하였다.
• 람다 추상화가 선언적 및 병렬 프로그래밍을 가능하게 하는 데 있어 효과성을 평가하기 위해 스트림 처리 워크로드에 집중하였다.

실험 결과

연구 질문

• RQ1 스트리밍 처리 워크로드에서 Java, C#, F#, Scala의 람다 추상화 성능은 어떻게 달라지나?
• RQ2 특히 Java에서 람다 성능에 미치는 영향을 고려할 때, 구현의 성숙도는 어떤 상대적 영향을 미치는가?
• RQ3 ScalaBlitz 및 LinqOptimizer와 같은 최적화 라이브러리는 일반적인 스트림 쿼리 패턴의 성능 향상에 얼마나 기여하는가?
• RQ4 플랫폼 차이(JVM on Linux/Windows, .NET CLR on Windows, Mono on Linux)는 람다 실행 성능에 어떻게 영향을 미치는가?

주요 결과

• Java는 뛰어난 구현 성숙도를 보이며 대부분의 벤치마크 시나리오에서 뛰어난 성능을 보였다.
• 언어 간 성능 격차는 주로 가상 머신과 람다 런타임 구현의 성숙도에 의해 크게 영향을 받는다.
• ScalaBlitz 및 LinqOptimizer와 같은 최적화 라이브러리는 일반적인 스트림 쿼리 패턴에 있어 뚜렷한 성능 향상을 제공한다.
• 예측 가능한 패턴을 가진 기능 스타일 스트림 파이프라인에서 최적화 라이브러리의 성능 향상 효과가 가장 두드러진다.
• 전문가 상담을 통한 성능 요인 분리 결과, VM 수준 최적화와 JIT 컴파일이 람다 실행 효율성에서 핵심적인 역할을 한다는 것이 밝혀졌다.