[論文レビュー] Narcissus: Deriving Correct-By-Construction Decoders and Encoders from Binary Formats

Benjamin Delaware, Sorawit Suriyakarn+3 more|arXiv (Cornell University)|Mar 13, 2018

Advanced Malware Detection Techniques参考文献 42被引用数 3

ひとこと要約

Narcissus は Coq を基盤とするフレームワークであり、パーサーコンビネータスタイルの構文を用いて、文脈自由でない複雑なバイナリフォーマットの正しい構築済みデコーダーおよびエンコーダーを自動で導出する。証明自動化と双方向的導出を活用することで、機械的に検証された正当性証明を保証し、エンコーダーとデコーダーの逆写像性を確保する。これにより、ミラージョーオーエスのようなシステムにおいて、最小限のパフォーマンスオーバーヘッドで安全で効率的な実装が可能になる。

ABSTRACT

It is a neat result from functional programming that libraries of parser combinators can support rapid construction of decoders for quite a range of formats. With a little more work, the same combinator program can denote both a decoder and an encoder. Unfortunately, the real world is full of gnarly formats, as with the packet formats that make up the standard Internet protocol stack. Most past parser-combinator approaches cannot handle these formats, and the few exceptions require redundancy -- one part of the natural grammar needs to be hand-translated into hints in multiple parts of a parser program. We show how to recover very natural and nonredundant format specifications, covering all popular network packet formats and generating both decoders and encoders automatically. The catch is that we use the Coq proof assistant to derive both kinds of artifacts using tactics, automatically, in a way that guarantees that they form inverses of each other. We used our approach to reimplement packet processing for a full Internet protocol stack, inserting our replacement into the OCaml-based MirageOS unikernel, resulting in minimal performance degradation.

研究の動機と目的

• 実世界のシステムにおいて、複雑なバイナリフォーマットの正しく構築された、重複のない仕様と実装が不足している問題に対処すること。
• Coq の証明自動化を統合することで、ユーザーによる誤りを排除し、形式的検証によるエンコーダー/デコーダー生成を実現すること。
• ネットワーキングで一般的な文脈依存的で文脈自由でないプロトコルに対応できる、細粒度で拡張可能なフォーマット仕様をサポートすること。
• エンコーディングおよびデコーディング論理の機械的検証証明を生成することで、検証済みシステムへのシームレスな統合を可能にすること。
• ミラージョーオーエスのユニコードンでパケット処理を置き換えることで、実用的妥当性を示すこと、かつパフォーマンスへの影響を最小限に抑えること。

提案手法

• Coq 内のドメイン特化埋め込み言語（EDSL）を用い、`format_word`、`++`（直列化）、`format_unused_word`（パディング用）などのコンビネータを用いてバイナリフォーマットを指定する。
• 1 つのフォーマット仕様からエンコーダーとデコーダーの両方を自動生成するためのカスタムタクティック `derive_encoder_decoder_pair` を採用する。
• 型とビットレベルの情報を導出プロセスに通し、エンコーディングとデコーディングが正確に逆写像であることを保証することで、双方向的一致性を維持する。
• バイトストリーム I/O をモデル化するため、`GetCurrentByte` および `SetCurrentByte` 操作を備えた状態付きエラーモナドでコードを生成する。
• `high_bits` および `low_bits` などのビットレベル操作プリミティブを用いて、マルチバイトワードのシリアル化と再構成を処理する。
• Coq の証明自動化を活用して正当性証明を生成および解決し、生成されたすべてのエンコーダー・デコーダー対が数学的に妥当であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 フォーマット仕様の関数型プログラミング的アプローチは、重複のない形で正しい構築済みエンコーダーとデコーダーを生成できるか？
• RQ2 1 つのフォーマット仕様から、正当性の形式的保証を伴うエンコーダー関数とデコーダー関数をどのように導出できるか？
• RQ3 このフレームワークは、標準ネットワーキングプロトコルに見られるような、複雑で文脈自由でないバイナリフォーマットを処理できるか？
• RQ4 実世界のユニコードンシステムで形式的検証済みエンコーダー・デコーダースタックを使用した場合のパフォーマンスオーバーヘッドはどの程度か？
• RQ5 ユーザー定義のフォーマットコンビネータおよび実装戦略を、どの程度まで拡張可能か？

主な発見

• Narcissus フレームワークは、アラインメント、パディング、複雑なフィールド依存関係を含む、すべての主要なネットワークパケットフォーマットについて、正しい構築済みエンコーダーとデコーダーを効果的に導出できた。
• Coq の証明自動化の活用により、生成されたすべてのエンコーダー・デコーダー対が、数学的に逆写像であることが保証された。これにより、エンコーディングとデコーディングの不一致の可能性は完全に排除された。
• ミラージョーオーエスのユニコードンでパケット処理を置き換えた際、パフォーマンスへの影響が最小限に抑えられ、実用的な効率性が実証された。
• ユーザー定義のフォーマットコンビネータを用いた拡張性が可能であり、固定の C スタイル構造体に限定されない、任意の Coq データ型とも相互運用可能である。
• 同じフォーマット仕様がエンコーダーとデコーダーの両方の生成に直接使用されるため、重複や手動翻訳が一切ない、冗長性のないコードが生成された。
• 生成されたコードは、形式的検証証明を提供する点で、従来のコード生成ツールやパーサーコンビネータツールを上回っている。これは、非形式的または臨戦的な検証ではなく、機械的に検証された証明を提供する点に起因する。