[论文解读] Clash of the Lambdas

Aggelos Biboudis, Nick Palladinos+1 more|arXiv (Cornell University)|Jun 25, 2014

Advanced Database Systems and Queries参考文献 7被引用 8

一句话总结

本文评估了 Java、C#、F# 和 Scala 在 JVM 与 .NET 平台上的基于 lambda 的流式 API 的性能，通过微基准测试结果隔离实现成本。研究发现，Java 凭借成熟的 JIT 编译器和实现技术展现出高性能，而优化框架如 ScalaBlitz 和 LinqOptimizer 显著提升了常见查询模式的效率。

ABSTRACT

The introduction of lambdas in Java 8 completes the slate of statically-typed, mainstream languages with both object-oriented and functional features. The main motivation for lambdas in Java has been to facilitate stream-based declarative APIs, and, therefore, easier parallelism. In this paper, we evaluate the performance impact of lambda abstraction employed in stream processing, for a variety of high-level languages that run on a virtual machine (C#, F#, Java and Scala) and runtime platforms (JVM on Linux and Windows, .NET CLR for Windows, Mono for Linux). Furthermore, we evaluate the performance gain that two optimizing libraries (ScalaBlitz and LinqOptimizer) can offer for C#, F# and Scala. Our study is based on small-scale throughput-benchmarking, with significant care to isolate different factors, consult experts on the systems involved, and identify causes and opportunities. We find that Java exhibits high implementation maturity, which is a dominant factor in benchmarks. At the same time, optimizing frameworks can be highly effective for common query patterns.

研究动机与目标

• 评估在多种高级、基于虚拟机的语言中，lambda 抽象在流式 API 中的性能开销。
• 比较 Java、C#、F# 和 Scala 在不同运行时平台（JVM 与 .NET）上的实现成熟度与优化有效性。
• 评估优化库（如 ScalaBlitz、LinqOptimizer）对常见流式工作负载的影响。
• 隔离并分析在 lambda 密集型工作负载中，装箱、GC 压力和 JIT 行为等性能瓶颈。
• 探讨流式 API 中的内部迭代与外部迭代对性能与可扩展性的影响。

提出的方法

• 在 Linux 和 Windows 平台上进行微基准测试，所有语言使用等效的数据类型与语义抽象。
• 使用受控的基准测试套件，逐步增加复杂度，从求偶数平方和等基本操作，到包含多个组合子的复杂流水线。
• 测量顺序与并行性能，重点关注吞吐量与 GC 行为。
• 应用专家指导的调优，包括禁用分层编译以隔离 JIT 行为的影响。
• 通过 refs 基准测试评估手动装箱的影响，以比较各语言在无附带开销下的表现。
• 探索使用专用库（如 ScalaBlitz、LinqOptimizer）和编译器插件（如 Miniboxing）以降低运行时成本。

实验结果

研究问题

• RQ1 在 JVM 与 .NET 平台上，Java、C#、F# 和 Scala 的基于 lambda 的流式 API 性能特征如何比较？
• RQ2 Java 运行时的实现成熟度（如 C2 JIT）在 lambda 密集型工作负载中在多大程度上主导了性能表现？
• RQ3 像 ScalaBlitz 和 LinqOptimizer 这类优化框架在降低常见流式查询模式成本方面有多有效？
• RQ4 自动装箱在性能下降中扮演什么角色？手动装箱如何影响跨语言比较？
• RQ5 JIT 编译行为（尤其是分层编译）如何影响 Scala 和 Java 基准测试的性能？

主要发现

• Java 展现出高度的实现成熟度，C2 JIT 编译器在所有基准测试中均提供稳定且出色的性能表现。
• 禁用分层编译在大多数 Scala 和 Java 基准测试中提升了性能，其中在 Scala 中启用分层编译时观察到约 10% 的性能下降。
• 在 refs 基准测试（手动装箱）中，Java 略胜一筹，但因消除了附带装箱开销，Scala 的性能与之直接可比。
• Scala-strict 并行测试表现出高度竞争力，得益于内部转换器近乎完美的内联以及高效的内存使用。
• 在 Scala 的 Filtered 特质中，长度操作符中惰性值的内部装箱导致了可测量的 GC 压力，即使在并行执行中亦然。
• 优化框架如 ScalaBlitz 和 LinqOptimizer 在常见查询模式中展现出显著的性能提升，表明在 Java 中开发类似工具具有巨大潜力。