[論文レビュー] Elle: Inferring Isolation Anomalies from Experimental Observations

Kyle Kingsbury, Peter Alvaro|arXiv (Cornell University)|Mar 23, 2020

Distributed systems and fault tolerance参考文献 24被引用数 10

ひとこと要約

Elle は、クライアントが観察可能なトランザクション履歴から依存グラフを推論することで、ブラックボックスデータベースにおける隔離異常を検出する、新しい、妥当で、効率的かつ情報豊富なチェッカーである。Elle は、追加可能なリストのようなトレーサブルで回復可能なデータ型を活用し、G0、G1a、G1b、G1c、G-single、G2、ダーティーアップデート、ゴミリード、重複した書き込み、内部整合性違反を線形時間性能で検出し、人間が読みやすい証拠を提供する。

ABSTRACT

Users who care about their data store it in databases, which (at least in principle) guarantee some form of transactional isolation. However, experience shows [Kleppmann 2019, Kingsbury and Patella 2019a] that many databases do not provide the isolation guarantees they claim. With the recent proliferation of new distributed databases, demand has grown for checkers that can, by generating client workloads and injecting faults, produce anomalies that witness a violation of a stated guarantee. An ideal checker would be sound (no false positives), efficient (polynomial in history length and concurrency), effective (finding violations in real databases), general (analyzing many patterns of transactions), and informative (justifying the presence of an anomaly with understandable counterexamples). Sadly, we are aware of no checkers that satisfy these goals. We present Elle: a novel checker which infers an Adya-style dependency graph between client-observed transactions. It does so by carefully selecting database objects and operations when generating histories, so as to ensure that the results of database reads reveal information about their version history. Elle can detect every anomaly in Adya et al's formalism [Adya et al. 2000] (except for predicates), discriminate between them, and provide concise explanations of each. This paper makes the following contributions: we present Elle, demonstrate its soundness, measure its efficiency against the current state of the art, and give evidence of its effectiveness via a case study of four real databases.

研究の動機と目的

• 実際のデータベースにおけるトランザクション隔離を検証するための、妥当で、効率的で、効果的で、汎用的で、情報豊富なチェッカーの不足に対処すること。
• 手動で証明された不変条件に依存する、固定された異常パターンに依存する、または NP 完全なソルバーに依存する既存ツールの制限を克服すること。
• 内部データベースへのアクセスを必要とせずに、任意のトランザクションパターンにわたって複数の異常タイプを検出できること。
• 観察可能な読み取りと書き込みから依存グラフを推論することで、検出された異常の短い、人間が読みやすい説明を提供すること。
• 理論的隔離形式（Adya et al.）と実世界のデータベースにおけるブラックボックステストの間のギャップを埋めること。

提案手法

• 読み取りおよび書き込み操作から可視性およびコミット順序を推論し、クライアントが観察可能なトランザクションから Adya 方式の依存グラフを構築する。
• 特に追加可能なリストを含むトレーサブルで回復可能なデータ型を活用し、オブジェクトの各バージョンが一意にトランザクションに対応するようにすることで、バージョン履歴の正確な推論を可能にする。
• 依存グラフにおけるサイクル検出を適用し、G0、G1a、G1b、G1c、G-single、G2 などの隔離異常を特定する。
• リアルタイムおよびプロセスごとの依存関係を活用し、タイミングやクラッシュ動作を含む異常を検出する。
• 制約なしで線形時間のアルゴリズムを採用し、履歴長に比例してスケーリングされ、並行処理に対して実質的に定数時間となる。NP 完全なソルバーを回避する。
• 特定の異常がなぜ発生したかをピンポイントで示す、短く人間が読みやすい反例を生成する。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックスデータベースチェッカーは、手動で証明された不変条件に依存せずに、すべての標準的隔離異常（G0、G1a、G1b、G1c、G-single、G2）を検出可能か？
• RQ2 読み取りによって返された値とアクセスされたオブジェクトのみを用いて、クライアントが観察可能な操作からトランザクション依存グラフを推論することは可能か？
• RQ3 このようなチェッカーは、履歴長に対して線形時間で効率的であり、数十万件のトランザクションを含む実世界の履歴にもスケーラブルか？
• RQ4 チェッカーは、異なる種類の異常を区別でき、それぞれに対して情報豊富で人間が読みやすい説明を提供できるか？
• RQ5 このアプローチは、任意のトランザクションパターンに一般化可能であり、読み込みコミットやスナップショット隔離を含む、より弱い隔離レベルに対しても対応可能か？

主な発見

• Elle は妥当である：報告するすべての異常は、観察された履歴のあらゆる解釈において実際に存在するため、偽陽性がない。
• Elle は効率的である：履歴長に対して線形時間で実行され、並行処理に対して実質的に定数時間であり、線形性や制約ソルバーに基づくチェッカーを上回る性能を発揮する。
• Elle は効果的である：テストしたすべての実際のデータベースで異常を検出し、内部整合性の欠如、アボートリード、アンチ依存性サイクルを含む。
• Elle は汎用的である：追加可能なリストのように、トレーサブルで回復可能なデータ型を用いた任意のトランザクションパターンに適応可能であり、現代のデータベースで広くサポートされている。
• Elle は情報豊富である：各異常の原因となった具体的なトランザクションと操作を明確に示す短い、人間が読みやすい証拠を生成し、デバッグを支援する。
• Elle は、単なる実行可能性違反にとどまらず、ダーティーアップデート、ゴミリード、重複した書き込み、内部整合性違反を含む幅広い異常を検出可能である。