[論文レビュー] Bloscpack: a compressed lightweight serialization format for numerical data

Valentin Haenel|arXiv (Cornell University)|Apr 25, 2014

Algorithms and Data Compression参考文献 3被引用数 3

ひとこと要約

Bloscpack は、Blosc コーデックを活用して Numpy ndarrays の高速な圧縮および解凍を可能にする、高速で圧縮済みで軽量なシリアル化形式です。Blosc のマルチスレッド処理、キャッシュ最適化、シャッフルフィルターを備えた圧縮により、低エントロピーのデータセットでは NPZ や ZFile と比べて最大 300× の圧縮速度向上を達成し、I/O がボトルネックとなる環境でもストレージの節約とパフォーマンス向上の両方を実現します。

ABSTRACT

This paper introduces the Bloscpack file format and the accompanying Python reference implementation. Bloscpack is a lightweight, compressed binary file-format based on the Blosc codec and is designed for lightweight, fast serialization of numerical data. This article presents the features of the file-format and some some API aspects of the reference implementation, in particular the ability to handle Numpy ndarrays. Furthermore, in order to demonstrate its utility, the format is compared both feature- and performance-wise to a few alternative lightweight serialization solutions for Numpy ndarrays. The performance comparisons take the form of some comprehensive benchmarks over a range of different artificial datasets with varying size and complexity, the results of which are presented as the last section of this article.

研究の動機と目的

• 数値データ、特に Numpy ndarrays の効率的なシリアル化を実現する軽量で圧縮済みのファイル形式を設計すること。
• Blosc のマルチスレッドおよびキャッシュ最適化アーキテクチャを活用して、高速な圧縮と I/O 效率を組み合わせ、合計のシリアル化時間を短縮すること。
• NPZ や ZFile、NPY などの既存の軽量シリアル化形式よりも、圧縮速度および I/O ボトルネック環境下でのパフォーマンスで優れるようにすること。
• Blosc のシャッフルフィルターおよびマルチスレッド処理が、さまざまなデータエントロピー水準およびストレージタイプにおいて圧縮パフォーマンスに与える影響を評価すること。
• 効率的なオンザフライ圧縮および解凍を可能にする、生産環境対応の Python リファレンス実装を提供すること。

提案手法

• Bloscpack 形式は、Blosc コーデックをコア圧縮エンジンとして使用しており、データをブロックに分割してマルチスレッド処理を実行します。
• 複数バイトの要素（例：64 ビット浮動小数点数）を重要度の順に並び替えることで、時系列データなどに適した可搬性を向上させるシャッフルフィルターを適用します。
• Blosc の拡張可能なメタ圧縮エンジンインタフェースを介して、複数の圧縮コーデック（blosclz、Snappy、LZ4、Zlib）をサポートします。
• Python でのリファレンス実装は Numpy ndarrays をネイティブに処理でき、ゼロコピーサーラライゼーションと効率的なメモリレイアウトを実現します。
• SSD および SD ストレージ上で、サイズとエントロピー水準が異なる人工データセットを用いて、I/O 条件の異なる環境でのパフォーマンスを評価するベンチマークを実施します。
• キャッシュヒット時とキャッシュミス時（冷たい I/O）の両方で、圧縮および解処理時間を測定し、実世界のパフォーマンスを評価します。

実験結果

リサーチクエスチョン

• RQ1 圧縮済みシリアル化形式は、I/O および CPU オーバーヘッドを低減することで、非圧縮形式よりも合計のシリアル化時間を短縮できるか？
• RQ2 Bloscpack がマルチスレッド、ブロックベースの圧縮とシャッフルフィルターを用いることで、エントロピーが異なる数値データセットにおけるパフォーマンスにどのような影響を与えるか？
• RQ3 特に圧縮が最も効果的な低エントロピーデータセットにおいて、Bloscpack は NPZ や ZFile を上回る圧縮速度を達成できるか？
• RQ4 ストレージ I/O 速度（SSD 対 SD カード）が、Bloscpack が他の形式に対して示すパフォーマンス優位性にどのように影響するか？
• RQ5 NPZ や ZFile が低エントロピーデータで異常に遅い圧縮時間を示す理由は何か？また、Bloscpack のアプローチはこの問題を緩和できるか？

主な発見

• 低エントロピーのデータセットでは、Bloscpack は 0.446 秒の圧縮速度を達成したのに対し、NPZ は 302 秒であり、300× のパフォーマンス向上を達成した。
• 最小の可搬性を示す高エントロピーのデータセットでさえも、Bloscpack は NPZ や ZFile よりも著しく高速であり、未圧縮データを素早く検出しコピーできる能力のおかげである。
• SD ストレージ（I/O がボトルネック）では、中規模および大規模の低エントロピーのデータセットにおいて、Bloscpack は NPY よりも最大 10 倍速く、より高い圧縮率のおかげで I/O を削減した。
• SD ストレージ上での中程度のエントロピーとサイズのデータセットにおいて、Bloscpack はレベル 7 で NPY の圧縮時間の 2 倍の速度を達成した。
• NPZ や ZFile は低エントロピーのデータで異常に遅い圧縮時間を示しており、これは DEFLATE の Lempel-Ziv 複雑性が原因で、シャッフルフィルターが欠如しているためと推測される。
• 低エントロピーのデータでは Bloscpack が NPY よりも高い圧縮比を達成し、中程度のエントロピーのデータでは NPZ や ZFile よりも高い圧縮比を達成した。高エントロピーのデータでは圧縮比がゼロに近づいた。