[論文レビュー] Is Rust C++-fast? Benchmarking System Languages on Everyday Routines

Nikolay Ivanov|arXiv (Cornell University)|Sep 19, 2022

Parallel Computing and Optimization Techniques被引用数 6

ひとこと要約

この論文は、同じハードウェア上で一般的なシステムレベルのアルゴリズムおよびデータ構造（例：ソートルーチンや辞書操作）を用いてRustとC++をベンチマークしている。結果として、RustはマージソートおよびハイブリッドソートにおいてC++と同等またはわずかに上回る性能を示したが、挿入ソートおよび辞書操作ではC++が一貫してRustを上回り、その性能差はコンパイラ最適化および言語固有のランタイム特性に起因している。

ABSTRACT

Rust is a relatively new system programming language that has been experiencing a rapid adoption in the past 10 years. Rust incorporates a memory ownership model enforced at a compile time. Since this model involves zero runtime overhead, programs written in Rust are not only memory-safe but also fast, leading to performance comparable to C and C++. Multiple existing benchmarks comparing the performance of Rust with other languages focus on rarely used superficial algorithms, leading to somewhat inconclusive results. In this work, we conduct a comparative performance benchmark of Rust and C++ using commonly used algorithms and data structures rather than exotic ones. Our evaluation shows that the overall performance of Rust is similar to C++, with only minor disadvantage. We also demonstrate that in some Rust routines are slightly faster than the ones of C++.

研究の動機と目的

• 合成的または特異的なベンチマークにとどまらず、一般的に使用されるシステムプログラミングのアルゴリズムおよびデータ構造におけるRustとC++のパフォーマンスを評価すること。
• Rustが日常的で実世界のプログラミングルーチンにおいてC++と同等のパフォーマンスを達成できるかどうかを特定すること。
• 両言語間におけるソートアルゴリズム（挿入ソート、マージソート、ハイブリッドソート）および辞書操作（ハッシュマップ対平衡二分探索木）のパフォーマンス差を特定すること。
• コンパイラ最適化および言語固有の設計（例：Rustの所有権モデル）が実行時パフォーマンスに与える影響を分析すること。

提案手法

• C++とRustの両方で、挿入ソート、マージソート、ハイブリッドソートの意味的に同一の実装を、標準ライブラリコンテナ（vector<double> および Vec<f64>）を用いて実装した。
• 入力サイズ（25から1,000まで25刻み）毎に10,000回の繰り返し測定を行い、平均のソート時間を算出し、乱数生成時間を計測から除外した。
• C++（-O2フラグ使用）およびRust（--releaseフラグ使用）の最適化済みおよび非最適化済みビルドの複数の構成でパフォーマンスを測定した。
• 同じハードウェアおよびシステム負荷下で、両言語におけるハッシュマップおよび平衡二分木の辞書操作（挿入および削除）をベンチマークした。
• 環境要因のばらつきを最小限に抑えるために、1台のハイエンドマシン（AMD Ryzen Threadripper 2950x、72GB RAM、Ubuntu 20.04）を単一のテスト環境として使用した。
• 16種類のハイブリッドソート設定（K = 16から512まで）および8種類の辞書操作比較を対象にパフォーマンスデータを収集・分析し、パフォーマンスグラフを用いて可視化した。

実験結果

リサーチクエスチョン

• RQ1 マージソートが挿入ソートを上回り始める入力サイズは、RustおよびC++においてどの程度で、最適化レベルに依存するか？
• RQ2 ハイブリッドソートの最適な閾値サイズKは、RustおよびC++でそれぞれどのくらいで、両言語間でどのように異なるか？
• RQ3 同等の最適化下で、RustはマージソートにおいてC++を上回る性能を示すか？もしそうなら、その差はどの程度か？
• RQ4 両言語におけるハッシュマップおよび平衡二分木の挿入および削除操作のパフォーマンスは、どのように比較されるか？
• RQ5 C++はどの程度、Rustの辞書操作において優れているのか？これはコンパイラ最適化の違いによるものか、言語レベルの設計によるものか？

主な発見

• 最適化済みのRust実装は、すべての入力サイズで最適化済みC++バージョンを上回る実行時間となり、RustがマージソートにおいてC++を上回っている。
• C++は挿入ソートにおいてRustを上回っており、入力サイズおよび最適化レベルに関係なく、一貫した性能差が観察された。
• ハイブリッドソートの最適な閾値サイズKは、C++では128、Rustでは16であり、両言語間で顕著なパフォーマンス特性の差が示された。
• ハイブリッドソートは両言語で純粋なマージソートおよび挿入ソートを上回る性能を示したが、C++ではRustよりもはるかに大きな性能向上が得られた。
• すべての入力サイズで、C++のハイブリッドソート最適化実装はRustの同等実装を上回っており、C++が低レベルのパフォーマンスチューニングにおいて優位であることを確認した。
• C++のハッシュマップおよび二分木操作（挿入および削除）の実装は、Rustの同等実装よりも一貫して高速であり、C++では削除が挿入よりも速かったが、Rustでは両者で類似した性能を示した。