[論文レビュー] Data Compression for Analytics over Large-scale In-memory Column Databases

Chunbin Lin, Jianguo Wang+1 more|arXiv (Cornell University)|Jun 30, 2016

Advanced Data Storage Technologies参考文献 8被引用数 3

ひとこと要約

この論文は、OLAPワークロードにおける大規模なメモリ内カラムストアデータベースにおけるデータ圧縮の実用性を調査している。圧縮技術のうち、ディクショナリエンコード、ランレングスエンコード（RLE）、ビットマップエンコードといった手法は、圧縮データ上で直接処理を可能にすることで、メモリ使用量とI/Oを削減し、クエリ処理を高速化できることを主張している。主な貢献は、データの特徴に基づいて最適な圧縮方式を選択する意思決定フレームワークの提唱であり、vsb-RLEおよび圧縮ビットマップは、優れたパフォーマンスと空間効率を示している。

ABSTRACT

Data compression schemes have exhibited their importance in column databases by contributing to the high-performance OLAP (Online Analytical Processing) query processing. Existing works mainly concentrate on evaluating compression schemes for disk-resident databases as data is mostly stored on disks. With the continuously decreasing of the price/capacity ratio of main memory, it is the tendencies of the times to reside data in main memory. But the discussion of data compression on in-memory databases is very vague in the literature. In this work, we present an updated discussion about whether it is valuable to use data compression techniques in memory databases. If yes, how should memory databases apply data compression schemes to maximize performance?

研究の動機と目的

• I/Oコストの低下が進んでも、メモリ内カラムデータベースにおけるデータ圧縮が依然として有益であるかどうかを特定すること。
• 圧縮データ上で直接クエリ処理が可能な圧縮方式を特定し、解凍を伴わずにパフォーマンスを向上させること。
• カラムの型（整数／文字列）、ソート状態、ドメインサイズに基づいて、最適な圧縮技術を選択する体系的なフレームワークを提供すること。
• メモリ内OLAPワークロードに最適化されたvsb-RLEおよび圧縮ビットマップなどの圧縮方式を評価・最適化すること。
• 一部の圧縮手法が、主記憶装置内データベースにおいて、メモリフットプリントを削減すると同時にクエリ実行を加速できることを実証すること。

提案手法

• メモリ内カラムストアの文脈において、広く使われている圧縮方式（ディクショナリエンコード、ランレングスエンコード（RLE）、ビットマップエンコード、Huffmanエンコード）を分析する。
• 各方式が、圧縮データ上で直接クエリ処理を可能にする能力を評価し、イン・サイチュ（in-situ）での操作を許容する方式と、完全な解処理を要する方式を区別する。
• vsb-RLE（値サイズビットディクショナリRLE）を提案する。これは、可変サイズのRLEとビットアラインドディクショナリエンコードを組み合わせたハイブリッド圧縮法であり、特にソート済みデータに対して効果的である。
• ビット-DICT最適化を導入し、RLEエンコード済みの値に対して、走査長さではなく値そのもののみをエンコードすることで、RLEの性能を維持しつつ、さらに空間を圧縮する。
• 実験的評価により、特にZipf分布に従うデータにおけるHuffmanエンコードの解処理時間と空間効果を測定する。
• カラムの型、ソート状態、ドメインサイズに基づいて圧縮方式を選択するための意思決定ツリー（図2）を構築する。

実験結果

リサーチクエスチョン

• RQ1 I/Oがもはや主なボトルネックでなくなったメモリ内カラムデータベースにおいて、データ圧縮は依然として有益であるか？
• RQ2 圧縮データ上で直接クエリ処理が可能な圧縮方式は何か？ そのような方式は、解処理を伴わずにパフォーマンスを向上させられるか？
• RQ3 整数型カラムに対して、メモリ内データベースで空間を削減しつつ、高速なクエリ実行を維持できるように、圧縮方式をどのように最適化できるか？
• RQ4 メモリ内カラムストアにおいてHuffmanエンコードを使用する際のパフォーマンスと空間のトレードオフは何か？
• RQ5 メモリ内OLAPデータベースの特定のカラムに対して、最適な圧縮方式を選択するための基準は何か？

主な発見

• I/Oコストの低下が進んでも、データ圧縮は、圧縮データ上で直接処理が可能な方式を用いることで、メモリフットプリントの削減に加え、クエリパフォーマンスの向上にも寄与する。
• ディクショナリエンコード、RLE（vsb-RLEを含む）、および圧縮ビットマップエンコードは、圧縮データ上でクエリを直接処理可能であり、解処理を伴わないため、非圧縮データと比較してデータ移動を削減し、実行を加速する。
• vsb-RLEは、10億行の整数カラム（100万の異なる値）に対して6.5MBの空間コストを達成し、標準のvs-RLE（8MB）に対して18％、vsl-RLE（12MB）に対して15％のストレージ削減を実現した。
• Huffmanエンコードは、高い解処理オーバーヘッドのため、メモリ内データベースには推奨されない。Zipf分布に従う100万行のカラムを解処理するのに3.2分を要した。
• 圧縮ビットマップエンコードは、ドメインサイズが小さい（例：50未満）カラムにのみ有効である。高基数カラムではビットベクトルの数が多くなり、メモリを多く消費するためである。
• 提案された意思決定ツリー（図2）は、実用的でデータ駆動型のガイドラインを提供する。ソート済み整数カラムにはvsb-RLE、小ドメインには圧縮ビットマップ、大ドメインにはbit-DICTを推奨する。