[論文レビュー] Twins: White-Glove Approach for BFT Testing.

Shehar Bano, Alberto Sonnino+3 more|arXiv (Cornell University)|Apr 22, 2020

Distributed systems and fault tolerance参考文献 25被引用数 12

ひとこと要約

Twinsは、同一のノードを複数インスタンス化し、同一のIDを共有することで、Byzantine Fault Tolerant (BFT) システムのテストに原理的で革新的なアプローチを提供する。これにより、偽装や二重投票といった現実的で制御可能なByzantine行動を生成可能となり、従来の手法よりもはるかに迅速に深刻なプロトコル欠陥を特定できる。

ABSTRACT

Byzantine Fault Tolerant (BFT) systems have seen extensive study for more than two decades, yet we lack a principled strategy for testing BFT implementations. This paper presents Twins, a new approach for testing BFT systems. The main idea of Twins is that we can emulate Byzantine behavior by running two (or generally up to $k$) instances of a node with the same identity. Each of the two instances (or Twins) runs unmodified, correct code. The Twins approach requires only a thin network wrapper that delivers messages to/from both Twins. To the rest of the system, the Twins appear indistinguishable from a single node behaving in a `questionable' manner. Twins generates `interesting' Byzantine behaviors, including equivocation, double voting, and losing internal state, while forgoing `uninteresting' behaviors that are trivially rejected by honest nodes, such as producing semantically invalid messages. Building on this idea, Twins can systematically generate Byzantine attack scenarios at scale, execute them in a controlled manner, and check for desired protocol properties. The paper demonstrates that Twins successfully reinstates several famous attacks on BFT protocols. In all cases, protocols break within fewer than a dozen protocol steps, hence it is realistic for the Twins approach to expose the problems. In two of these attacks, it took the community more than a decade to discover protocol flaws that Twins would have surfaced within minutes. Additionally, Twins testing was successfully incorporated into a production setting in which Twins executed 3M Twins-generated scenarios, and exposed (self-injected) subtle safety bugs within minutes of testing.

研究の動機と目的

• 数十年にわたる研究にもかかわらず、Byzantine Fault Tolerant (BFT) システムのテストに原理的な戦略が欠如しているという問題に取り組む。
• 誠実なノードが即座に除外するような単純なフィルタリングで除外されない、意味のあるByzantine行動を生成する課題を克服する。
• BFTプロトコルに対して、体系的でスケーラブルかつ制御可能な方法でByzantine攻撃シナリオを生成・実行する。
• 現実的な故障挿入により、生産環境のBFTシステムにおける微細なセーフティバグを早期に検出可能にする。
• 本手法の有効性を実証するため、既知の歴史的攻撃を再現し、以前に発見されなかった欠陥を特定する。

提案手法

• 同一のノードを2つ以上のインスタンスとして実行し、同一のIDを共有する。各インスタンスは変更のない正しいコードを実行する。
• 薄いネットワークラッパーを用いて、すべてのインスタンス間でメッセージをルーティングし、残りのシステムから単一の論理的ノードとして見えるようにする。
• 複数インスタンスの内在的挙動を活用して、偽装や二重投票のような複雑なByzantine行動を生成する。
• 誠実なノードが即座に拒否するような、意味的に不正なメッセージ（例：構文的に誤ったメッセージ）を除外する。
• 生成された攻撃シナリオを体系的に実行し、制御された条件下でプロトコルの性質を検証する。
• Twinsフレームワークを生産環境に統合し、大規模な実世界のBFT実装を対象にテストを実施する。

実験結果

リサーチクエスチョン

• RQ1 プロトコルコードの変更なしに、BFTシステムにおいて意味のあるByzantine行動を生成する軽量でスケーラブルな方法を設計できるか？
• RQ2 Twinsは、制御的かつ繰り返し可能な方法で、歴史的に重要なBFTプロトコル攻撃をどれほど正確に再現できるか？
• RQ3 従来のテストや手動分析と比較して、TwinsはBFTプロトコルにおける微細なセーフティバグをどれほど迅速に検出できるか？
• RQ4 Twinsは生産環境に効果的に導入可能であり、以前に発見されなかった欠陥を特定できるか？
• RQ5 Twinsアプローチは、少数のプロトコルステップ内でプロトコルの弱みを露呈できるか？これにより、実世界のテストに実用的であるか？

主な発見

• Twinsは、BFTプロトコルに対する有名な攻撃を成功裏に再現した。すべてのプロトコル障害は12ステップ未満で発生した。
• 2つの事例では、10年以上にわたり検出されなかったプロトコル欠陥が、テスト開始後数分でTwinsによって特定された。
• Twinsフレームワークは生産環境に成功裏に統合され、300万回のシナリオ実行が行われ、数分以内に自己注入されたセーフティバグが検出された。
• このアプローチは、偽装や二重投票といった「興味深い」Byzantine行動のみを生成し、誠実なノードが即座に拒否する意味的に不正なメッセージを除外する。
• 同一のノードを複製してByzantine行動をエミュレートすることで、最小限のインfraストラクチャ負荷で、体系的でスケーラブルかつ繰り返し可能なBFTプロトコルのテストが可能になる。
• Twinsアプローチは、プロトコルやノードコードの変更が不要で、メッセージルーティング用の薄いネットワークラッパーのみで実現可能であるため、高い実用性を示している。