[論文レビュー] LogBase: A Scalable Log-structured Database System in the Cloud

Hoang Tam Vo, Sheng Wang+3 more|arXiv (Cornell University)|Jun 30, 2012

Advanced Data Storage Technologies参考文献 28被引用数 5

ひとこと要約

LogBase は、すべてのデータを単一のログに格納することで、書き込みボトルネックを解消するクラウドネイティブでログ構造のデータベースシステムであり、高い書き込みスループットと高速な回復を実現する。メモリ上に複数バージョンのインデックスを用いることで、効率的なデータアクセスとトランザクションの整合性を実現し、HBase やディスクベースのログ構造システムと比較して、書き込みスケーラビリティと回復効率に優れる。

ABSTRACT

Numerous applications such as financial transactions (e.g., stock trading) are write-heavy in nature. The shift from reads to writes in web applications has also been accelerating in recent years. Write-ahead-logging is a common approach for providing recovery capability while improving performance in most storage systems. However, the separation of log and application data incurs write overheads observed in write-heavy environments and hence adversely affects the write throughput and recovery time in the system. In this paper, we introduce LogBase - a scalable log-structured database system that adopts log-only storage for removing the write bottleneck and supporting fast system recovery. LogBase is designed to be dynamically deployed on commodity clusters to take advantage of elastic scaling property of cloud environments. LogBase provides in-memory multiversion indexes for supporting efficient access to data maintained in the log. LogBase also supports transactions that bundle read and write operations spanning across multiple records. We implemented the proposed system and compared it with HBase and a disk-based log-structured record-oriented system modeled after RAMCloud. The experimental results show that LogBase is able to provide sustained write throughput, efficient data access out of the cache, and effective system recovery.

研究の動機と目的

• 金融取引やウェブログ記録などの書き込みが激しいクラウドアプリケーションにおける書き込み性能ボトルネックを解消すること。
• 変動するワークロードに対応できる、コンmodityクラスタ上で動的でエラスティックにスケーリング可能な仕組みを提供すること。
• 履歴データに対する分析クエリを効率的に行うための複数バージョンデータアクセスをサポートすること。
• 複数レコードにまたがる読み取り・書き込み操作を一括で処理するトランザクションの整合性を保証すること。
• メモリ上データ構造に依存せずに、マシン障害後の高速なシステム回復を実現すること。

提案手法

• すべての書き込みを単一のログファイルに逐次追加するログオンリーモデルを採用し、イン-place更新を排除することでディスクI/Oを削減する。
• ログに格納されたデータに対して、効率的なポイントクエリと範囲スキャンを可能にするメモリ上複数バージョンインデックスを活用する。
• チェックポイントとログリプレイを実装することで、完全なログスキャンを回避し、回復時間を短縮する高速なシステム回復を実現する。
• 複数レコードの読み取り・変更・書き込みを含むトランザクションの整合性を保つために、スナップショット隔離をサポートする。
• データパーティショニングを活用した分散アーキテクチャにより、コンmodityクラスタ上で動的にシステムをスケーリングする。
• ログコンパクションを用いて、レコードの履歴バージョンをクラスタリングし、スキャン時のインデックスチェックを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 ログオンリーモデルは、書き込みが激しいクラウドワークロードにおける書き込みボトルネックを解消できるか？
• RQ2 ログオンリーモデルは、WAL+Dataおよびメモリベースのシステムと比較して、書き込みスループットと回復時間においてどのように異なるか？
• RQ3 データがログにのみ格納される状況でも、メモリ上複数バージョンインデックスが効率的なデータアクセスを可能にするか？
• RQ4 チェックポイントは、ディスクベースのログ構造システムにおけるシステム回復パフォーマンスをどの程度向上できるか？
• RQ5 LogBase は、複数ノードにまたがる環境で、書き込みスループットとクエリパフォーマンスの両面でどのようにスケーリングするか？

主な発見

• LogBase は、ランダムI/Oを排除するシーケンシャルログ書き込みにより、継続的な高スループットを達成し、HBase やディスクベースのシステムを上回る書き込み集約ワークロードでの性能を示す。
• チェックポイントを用いた回復は、完全なログリプレイよりも顕著に高速であり、ログ全体のスキャンを回避することで回復時間を短縮する。
• データファイルの更新が不要なため、従来のWAL+DataシステムよりもLogBaseの回復が高速である。
• メモリ上複数バージョンインデックスの活用により、長尾クエリに対しても最小限のパフォーマンス劣化で、ログ内のデータに効率的にアクセス可能である。
• ログコンパクション後にインデックス検索のオーバーヘッドが削減されるため、LogBase のシーケンシャルスキャン性能は、LRS（LevelDBベースのシステム）を上回る。
• クラスタサイズに応じてスループットが効果的にスケーリングされ、動的かつスケーラブルなクラウド環境における強力な水平スケーリングを示している。