[論文レビュー] Adaptive Logging for Distributed In-memory Databases

Chang Yao, Divyakant Agrawal+3 more|arXiv (Cornell University)|Mar 12, 2015

Distributed systems and fault tolerance参考文献 31被引用数 5

ひとこと要約

この論文は、分散型メモリ内データベースにおける適応的ログ記録を提案し、データログ記録とコマンドログ記録を組み合わせることで、トランザクションスループットと回復性能のバランスを図る。ワークロードの特性に応じてログ記録戦略を動的に調整することで、純粋なコマンドログ記録と比較して回復時間を10倍速くし、トランザクションスループットを同等に維持する。

ABSTRACT

A new type of logs, the command log, is being employed to replace the traditional data log (e.g., ARIES log) in the in-memory databases. Instead of recording how the tuples are updated, a command log only tracks the transactions being executed, thereby effectively reducing the size of the log and improving the performance. Command logging on the other hand increases the cost of recovery, because all the transactions in the log after the last checkpoint must be completely redone in case of a failure. In this paper, we first extend the command logging technique to a distributed environment, where all the nodes can perform recovery in parallel. We then propose an adaptive logging approach by combining data logging and command logging. The percentage of data logging versus command logging becomes an optimization between the performance of transaction processing and recovery to suit different OLTP applications. Our experimental study compares the performance of our proposed adaptive logging, ARIES-style data logging and command logging on top of H-Store. The results show that adaptive logging can achieve a 10x boost for recovery and a transaction throughput that is comparable to that of command logging.

研究の動機と目的

• チェックポイント後の全トランザクションの再実行を要する、メモリ内データベースにおけるコマンドログ記録の高い回復コストを解消すること。
• コマンドログ記録における並列回復の欠如を克服し、依存関係を考慮したトランザクション再処理により、分散的でノード単位の回復を可能にすること。
• OLTPワークロードにおけるトランザクション処理性能と回復効率のトレードオフを最適化すること。
• ワークロードの要件に応じてデータログ記録とコマンドログ記録の比率を動的に変更できるハイブリッドログ記録方式を設計すること。

提案手法

• 各ノードが独立して並列に回復できるように、コマンドログ記録を分散システムに拡張すること。
• 依存関係解析を用いて、ノード障害の影響を受けるトランザクションのみを特定・分離し、回復範囲を制限すること。
• ワークロード特性に応じて、データログ記録とコマンドログ記録の間で動的に切り替える適応的ログ記録戦略を提案すること。
• 一部のトランザクションを完全なデータ変更とともにログ記録（データログ記録）、他のトランザクションをコマンドメタデータのみでログ記録（コマンドログ記録）するハイブリッドログモデルを採用し、ログサイズと回復コストを最小限に抑えること。
• 回復時の再実行順序を正しく保つために依存関係追跡を実装し、並列アクセスによる競合を回避すること。
• 評価のため、H-Storeメモリ内データベースシステムに適応的ログ記録メカニズムを統合すること。

実験結果

リサーチクエスチョン

• RQ1 コマンドログ記録をどのように拡張すれば、分散型メモリ内データベースにおける効率的で並列な回復を実現できるか？
• RQ2 コマンドログ記録とデータログ記録の間で、トランザクション処理スループットと回復時間の性能トレードオフはどのように変化するか？
• RQ3 ハイブリッドログ記録戦略は、OLTPワークロードにおいて、ログ記録のオーバーヘッドと回復コストのバランスを動的に保てるか？
• RQ4 トランザクション依存関係の解決が、分散コマンドログ記録における回復性能に与える影響は何か？
• RQ5 適応的ログ記録は、純粋なコマンドログ記録およびARIESスタイルのデータログ記録と比較して、回復速度とトランザクションスループットの点でどのように差がつくか？

主な発見

• 適応的ログ記録は、純粋なコマンドログ記録と比較して回復時間を10倍速くし、障害後のダウンタイムを顕著に短縮する。
• 適応的ログ記録のトランザクションスループットは、純粋なコマンドログ記録と同等であり、オンライントランザクション処理の高パフォーマンスを維持する。
• 依存関係に依存するトランザクションのみを再実行することで、分散ノードにおける並列回復が実現可能かつ効率的である。
• ハイブリッドアプローチは、ARIESスタイルのデータログ記録と比較してログサイズを削減する一方で、コマンドログ記録の完全再実行コストを回避する。
• 依存関係解析により、ノード障害後に再処理が必要なトランザクションのみを特定でき、正しく効率的な回復が可能になる。
• 適応的ログ記録戦略は、パフォーマンスと信頼性の両方を効果的にバランスさせ、多様なOLTPワークロードに適している。