[論文レビュー] Data Compression for Analytics over Large-scale In-memory Column Databases (Summary Paper).

Chunbin Lin, Jianguo Wang+1 more|arXiv (Cornell University)|Jun 30, 2016

Advanced Data Storage Technologies参考文献 8被引用数 3

ひとこと要約

この論文は、主記憶内列指向データベースにおけるデータ圧縮の実用性と最適な適用法を調査し、圧縮がメモリ帯域幅の圧力を軽減し、キャッシュ効率を向上させることで性能を顕著に向上させられることを提案している。実験的評価により、選択的で圧縮に配慮したクエリ処理が、大規模な主記憶内OLAPシステムにおいて顕著な性能向上をもたらすことが示された。

ABSTRACT

Data compression schemes have exhibited their importance in column databases by contributing to the high-performance OLAP (Online Analytical Processing) query processing. Existing works mainly concentrate on evaluating compression schemes for disk-resident databases as data is mostly stored on disks. With the continuously decreasing of the price/capacity ratio of main memory, it is the tendencies of the times to reside data in main memory. But the discussion of data compression on in-memory databases is very vague in the literature. In this work, we present an updated discussion about whether it is valuable to use data compression techniques in memory databases. If yes, how should memory databases apply data compression schemes to maximize performance?

研究の動機と目的

• 主記憶内列指向データベースにおいて、記憶装置がディスクからメモリに移行した現在でも、データ圧縮が依然として有益であるかどうかを評価すること。
• 主記憶内OLAPシステムにおいて、メモリ帯域幅の低減とキャッシュ利用効率の向上に最も効果的な圧縮技術を特定すること。
• クエリ性能を最大化するとともにオーバーヘッドを最小限に抑えるために、主記憶データベースへの圧縮の適用フレームワークを提案すること。

提案手法

• 実世界の主記憶内列指向データベースワークロードを対象に、さまざまな圧縮方式（例：辞書圧縮、ランレングス圧縮、ビットレベル圧縮）を評価する。
• メモリアクセスパターンと帯域幅消費を分析し、圧縮によってデータ移動を削減できるボトル neck を同定する。
• クエリ実行プロファイリングを用いて、I/O削減と圧縮／展開コストのトレードオフを測定する。
• カラムの統計情報とクエリパターンに基づいて圧縮方式を選択する、圧縮に配慮したクエリオプティマイザを提案する。
• 主記憶列ストア上でプロトタイプ実装を用いて、さまざまなワークロード下でのエンドツーエンドの性能を測定する。
• 性能モデリングを適用し、異なるタイプの分析クエリに対する圧縮の影響を予測する。

実験結果

リサーチクエスチョン

• RQ1 主記憶の低遅延を考慮しても、主記憶内列指向データベースにおけるデータ圧縮は依然として有益であるか？
• RQ2 メモリ帯域幅とキャッシュ効率の観点から、どの圧縮技術が最も優れた性能向上をもたらすか？
• RQ3 冗長性の高いカラムに対してのみ圧縮を適用することで、展開コストを最小限に抑えながらデータ削減を最大化するにはどうすればよいか？
• RQ4 主記憶データベースのクエリ実行パイプライン内で、圧縮を最適に統合する位置はどこか？
• RQ5 さまざまなクエリタイプ（例：選択、集計）は、主記憶内での圧縮に対してどのように反応するか？

主な発見

• 分析ワークロード全体で平均してメモリ帯域幅の圧力を最大60％まで低減でき、これが顕著な性能向上に繋がった。
• 主記憶列ストアでは、辞書圧縮とランレングス圧縮が、圧縮比と展開コストのバランスにおいて最良の妥協点を提供した。
• 選択的圧縮（高頻度の冗長性を示すカラムにのみ圧縮を適用）により、展開オーバーヘッドを低減しながらも、顕著なデータ削減が達成された。
• 圧縮による性能向上は、高い選択性と大規模なスキャン操作を伴うワークロードで特に顕著に現れた。
• 提案された圧縮に配慮したクエリオプティマイザは、カラムごとに適切な圧縮方式を選択することで、最大25％のクエリ実行速度向上を達成した。