[論文レビュー] Exposing Non-Atomic Methods of Concurrent Objects

Michael Emmi, Constantin Enea|arXiv (Cornell University)|Jun 28, 2017

Distributed systems and fault tolerance参考文献 2被引用数 5

ひとこと要約

この論文では、Java Development Kit (JDK) の並列オブジェクトにおける原子性違反を、最小限のテストハーネスを生成し、事前に計算された原子的戻り値の組み合わせセットと照合することで、自動的に検出する手法を提示する。このアプローチにより、1コアあたり秒間数百万回の実行が可能な高スループットのテストが可能となり、ConcurrentSkipListMap や ConcurrentHashMap といった広く使われている並列データ構造におけるレアな原子性違反が発見された。

ABSTRACT

Multithreaded software is typically built with specialized concurrent objects like atomic integers, queues, and maps. These objects' methods are designed to behave according to certain consistency criteria like atomicity, despite being optimized to avoid blocking and exploit parallelism, e.g., by using atomic machine instructions like compare and exchange (cmpxchg). Exposing atomicity violations is important since they generally lead to elusive bugs that are difficult to identify, reproduce, and ultimately repair. In this work we expose atomicity violations in concurrent object implementations from the most widely-used software development kit: The Java Development Kit (JDK). We witness atomicity violations via simple test harnesses containing few concurrent method invocations. While stress testing is effective at exposing violations given catalytic test harnesses and lightweight means of falsifying atomicity, divining effectual catalysts can be difficult, and atomicity checks are generally cumbersome. We overcome these problems by automating test-harness search, and establishing atomicity via membership in precomputed sets of acceptable return-value outcomes. Our approach enables testing millions of executions of each harness each second (per processor core). This scale is important since atomicity violations are observed in very few executions (tens to hundreds out of millions) of very few harnesses (one out of hundreds to thousands). Our implementation is open source and publicly available.

研究の動機と目的

• 広く使われている Java Development Kit (JDK) に含まれる並列データ構造における原子性違反を特定・暴露すること。
• ストレステストの課題、例えば効果的なテストケイパブラーの特定の難しさや、手動での原子性チェックの高コストを克服すること。
• 並列オブジェクトのメソッドにおける原子性違反を露呈させる最小で効果的なテストハーネスの自動探索をすること。
• 線形化の列挙に代わる高速な結果セット照合を用いることで、並列実行のスケーラブルかつ高パフォーマンスなテストを可能にすること。
• 実装コードへのアクセスを必要とせず、言語に依存しないオープンソースフレームワークを提供し、並列ライブラリにおける原子性違反を検出すること。

提案手法

• 原子性違反を誘発するためのケイパブラーとして機能する、1つのコアでないメソッドと複数のコアメソッド呼び出しを含む、小型で最小限のテストハーネスを自動生成する。
• 静的インデキシングにより、各実行における高速で決定論的な結果ベクトル計算を可能にする。
• 各ハーネスについて、原子的挙動（線形化可能性）と整合するすべての戻り値の結果ベクトルを事前に計算する。
• 各実行の結果を、事前に計算された原子的結果の集合への属性チェックによって検証し、高コストな線形化の列挙を置き換える。
• 1秒あたり1コアあたり数百万回の並列実行が可能な、高性能なテスト自動化フレームワークを用いる。
• 軽量なインストルメンテーションを用いて、メソッドの戻り値を記録し、検証のための決定論的結果記録を保証する。

実験結果

リサーチクエスチョン

• RQ1 自動テストハーネス生成は、JDK の並列オブジェクトにおけるまれな原子性違反を効果的に露呈できるか？
• RQ2 事前に計算された原子的結果ベクトルの集合は、高コストな線形化の列挙を置き換え、スケーラブルな原子性チェックを可能にするか？
• RQ3 本手法は、ConcurrentSkipListMap や ConcurrentHashMap のような実世界の並列データ構造における原子性違反の検出にどの程度効果的か？
• RQ4 検出された違反は、実装バグに起因するのか、あるいは曖昧な仕様による意図的な許容動作に起因するのか？
• RQ5 この手法は、他の並列ライブラリやプログラミング言語へどの程度一般化可能か？

主な発見

• 本手法は、java.util.concurrent パッケージ内の10のクラスに原子性違反を検出できた。その中には ConcurrentSkipListMap や ConcurrentHashMap も含まれる。
• 原子性違反は、数百万回の実行のうち数十〜数百回の実行でしか発生しなかったが、これは高スループットのテストの必要性を浮き彫りにした。
• 従来の手法と比較して、ハーネス実行速度が31.5倍向上し、1コアあたり秒間数百万回の実行が可能になった。
• ConcurrentSkipListMap の clear メソッドに深刻なバグが発見された。並列的な put が発生した場合、同じキーに対して以前に put されたにもかかわらず、containsKey が false を返すことがあった。
• 著者らは、多くの違反が曖昧な仕様のためバグとは見なされない可能性があるが、原子性を前提としているクライアントにとっては依然として問題となる挙動であると特定した。
• 本手法は実装コードのアクセスを一切必要とせず、観察可能なメソッドの戻り値と結果検証に依存するだけで効果的である。