[論文レビュー] Need for Speed: A Comprehensive Benchmark of JPEG Decoders in Python

Vladimir Iglovikov|ArXiv.org|Jan 22, 2025

Computational Physics and Python Applications被引用数 3

ひとこと要約

論文は ARM64 および x86_64 上で nine Python JPEG decoders をベンチマークし、libjpeg-turbo ベースの実装がデコードを最大1.5倍高速化する可能性を示し、実用的な推奨を提供します。

ABSTRACT

Image loading represents a critical bottleneck in modern machine learning pipelines, particularly in computer vision tasks where JPEG remains the dominant format. This study presents a systematic performance analysis of nine popular Python JPEG decoding libraries on different computing architectures. We benchmark traditional image processing libraries (Pillow, OpenCV), machine learning frameworks (TensorFlow, PyTorch), and specialized decoders (jpeg4py, kornia-rs) on both ARM64 (Apple M4 Max) and x86\_64 (AMD Threadripper) platforms. Our findings reveal that modern implementations using libjpeg-turbo achieve up to 1.5x faster decoding speeds compared to traditional approaches. We provide evidence-based recommendations for choosing optimal JPEG decoders across different scenarios, from high-throughput training pipelines to real-time applications. This comprehensive analysis helps practitioners make informed decisions about image loading infrastructure, potentially reducing training times and improving system efficiency.

研究の動機と目的

• 人気のある Python ライブラリの end-to-end JPEG デコード性能を二つのアーキテクチャで評価する。
• 基盤デコーダ（libjpeg 対 libjpeg-turbo）が速度に与える影響と、抽象化がオーバーヘッドをどこに生み出すかを特定する。
• 高スループット、リアルタイム、開発用途に向けた実践的な推奨を提供する。

提案手法

• 二つのプラットフォーム（ARM64 と x86_64）で九つの Python JPEG デコーダをベンチマークする。
• varied resolutions（90x90 から 3264x2792）を持つ 2000 枚の ImageNet バリデーション画像を使用する。
• ライブラリごとに 20 回の実行とコールドスタート時のキャッシュクリアを行い、読み込みとデコードの総時間を測定する。
• 実世界の使用を反映するためにディスク I/O をタイミングに含める。
• 実装を比較する：Pillow、OpenCV、scikit-image、imageio、TensorFlow、torchvision、kornia-rs、jpeg4py、その他。
• libjpeg vs libjpeg-turbo の影響と実装言語が性能に与える影響を分析する。

Figure 1: JPEG Decoding Performance on Apple M4 Max

実験結果

リサーチクエスチョン

• RQ1 ARM64 および x86_64 で最も良い end-to-end のデコード性能を提供する Python JPEG デコーダはどれか？
• RQ2 基盤デコーダ（libjpeg 対 libjpeg-turbo）がライブラリ間の速度にどう影響するか？
• RQ3 実装言語と抽象化レイヤーがデコード性能に与える影響は？
• RQ4 プラットフォーム差が JPEG デコードライブラリの性能にどう影響するか？
• RQ5 高スループットパイプライン対開発用途でどんな実用的推奨が得られるか？

主な発見

• TurboJPEG ベースの実装は一般に標準の libjpeg ベースよりもプラットフォームを問わず高性能である。 (例：ARM64 で高性能者には kornia-rs、OpenCV、torchvision が挙げられる。)
• ARM64（Apple M4 Max）ではトップパフォーマーは: kornia-rs 1034 img/sec、OpenCV 1016 img/sec、torchvision 992 img/sec；中位は imageio 777 img/sec、Pillow 775 img/sec、scikit-image 766 img/sec；TensorFlow 664 img/sec。
• x86_64（Threadripper）ではトップパフォーマーに jpeg4py と kornia-rs が強い OpenCV の存在感あり；中位には torchvision と Pillow-SIMD；下位には scikit-image と標準の Pillow。
• libjpeg-turbo を使用するライブラリ（jpeg4py、kornia-rs、OpenCV、torchvision）は、標準の libjpeg を使用するライブラリ（Pillow、imageio、scikit-image）より高い性能を示す。
• 現代の実装（特に Rust ベースの kornia-rs）はオーバーヘッドの削減と SIMD 最適化の恩恵を受け、プラットフォームを横断して高い性能を実現している。
• Pillow は安定性と互換性を維持するが、TurboJPEG ベースのオプションよりは一般的に遅い。OpenCV はコンピュータビジョンのワークフロー内で強力な性能を提供する。

Figure 2: JPEG Decoding Performance on AMD Threadripper 3970X