[논문 리뷰] Narcissus: Deriving Correct-By-Construction Decoders and Encoders from Binary Formats

Benjamin Delaware, Sorawit Suriyakarn외 3명|arXiv (Cornell University)|2018. 03. 13.

Advanced Malware Detection Techniques참고 문헌 42인용 수 3

한 줄 요약

Narcissus는 Coq 기반의 프레임워크로, 문법 조합 스타일의 문법을 사용하여 복잡한 비문맥 자유 형식의 정확한 인코더와 디코더를 자동으로 유도한다. 증명 자동화와 이중 방향 유도를 활용하여 기계적으로 검증된 정확성 증명을 통해 인코더-디코더의 상호 역전성을 보장하며, 미라지오에스와 같은 시스템에서 최소한의 성능 오버헤드로 안전하고 효율적인 구현을 가능하게 한다.

ABSTRACT

It is a neat result from functional programming that libraries of parser combinators can support rapid construction of decoders for quite a range of formats. With a little more work, the same combinator program can denote both a decoder and an encoder. Unfortunately, the real world is full of gnarly formats, as with the packet formats that make up the standard Internet protocol stack. Most past parser-combinator approaches cannot handle these formats, and the few exceptions require redundancy -- one part of the natural grammar needs to be hand-translated into hints in multiple parts of a parser program. We show how to recover very natural and nonredundant format specifications, covering all popular network packet formats and generating both decoders and encoders automatically. The catch is that we use the Coq proof assistant to derive both kinds of artifacts using tactics, automatically, in a way that guarantees that they form inverses of each other. We used our approach to reimplement packet processing for a full Internet protocol stack, inserting our replacement into the OCaml-based MirageOS unikernel, resulting in minimal performance degradation.

연구 동기 및 목표

• 실세계 시스템에서 복잡한 이진 형식에 대한 정확한 인코더와 디코더의 비중복 사양 및 구현이 부족한 문제를 해결하기 위해.
• Coq의 증명 자동화를 통한 형식적 검증을 통합하여 사용자에 의한 버그를 제거함으로써 인코더/디코더 생성 과정에서의 오류를 방지하기 위해.
• 네트워킹에서 흔한 문맥 의존적이고 비문맥 자유 프로토콜을 다룰 수 있는 세밀하고 확장 가능한 형식 사양을 지원하기 위해.
• 인코딩 및 디코딩 논리에 대한 기계적으로 검증된 정확성 증명을 생성하여 검증된 시스템에 원활하게 통합할 수 있도록 하기 위해.
• 미라지오에스 유닉ernel에서 패킷 처리를 교체함으로써 실용적 타당성을 입증하기 위해 최소한의 성능 영향을 초래하는 것.

제안 방법

• Coq 내의 도메인 특화 내장 언어(EDSL)를 사용하여 `format_word`, `++`(순서), `format_unused_word`와 같은 조합자를 통해 이진 형식을 사양한다.
• 단일 형식 사양으로부터 인코더와 디코더 함수를 자동으로 생성하기 위해 고유의 택틱 `derive_encoder_decoder_pair`를 사용한다.
• 형식과 비트 수준 정보를 파생 과정 동안 전달하여 양방향 일致성을 유지함으로써 인코딩과 디코딩이 정확한 역함수임을 보장한다.
• 바이트 스트림 I/O를 모델링하기 위해 `GetCurrentByte`와 `SetCurrentByte` 연산을 포함한 상태 기반 오류 모나드에서 코드를 생성한다.
• 다중 바이트 워드 직렬화 및 재구성에 대응하기 위해 `high_bits`와 `low_bits`와 같은 비트 수준 조작 원리를 적용한다.
• Coq의 증명 자동화를 활용하여 정확성 증명을 생성하고 해소함으로써, 모든 생성된 인코더-디코더 쌍이 수학적으로 타당함을 보장한다.

실험 결과

연구 질문

• RQ1 형식 프로그래밍 접근 방식을 통해 사양을 정의하면 비중복적이고 정확한 인코더와 디코더를 생성할 수 있는가?
• RQ2 단일 형식 사양을 어떻게 사용하여 정확성 보장을 갖춘 인코더 및 디코더 함수를 유도할 수 있는가?
• RQ3 이 프레임워크는 네트워킹에서 흔한 비문맥 자유 형식, 예를 들어 표준 네트워크 프로토콜에서 볼 수 있는 복잡한 형식을 처리할 수 있는가?
• RQ4 실세계 유닉ernel 시스템에서 형식적으로 검증된 인코더-디코더 스택을 사용할 경우 성능 오버헤드는 어느 정도인가?
• RQ5 사용자 정의 형식 조합자와 구현 전략을 통해 프레임워크를 어느 정도 확장할 수 있는가?

주요 결과

• Narcissus 프레임워크는 정렬, 팯딩, 복잡한 필드 종속성 등을 포함한 주요 네트워크 패킷 형식에 대해 정확한 인코더와 디코더를 성공적으로 유도하였다.
• Coq의 증명 자동화를 활용함으로써 생성된 모든 인코더-디코더 쌍이 정확히 역함수임을 수학적으로 증명하여, 인코딩-디코딩 불일치 가능성 자체를 제거하였다.
• 미라지오에스 유닉ernel에서 패킷 처리를 교체할 경우 최소한의 성능 저하를 기록하여 실용적 효율성을 입증하였다.
• 사용자 정의 형식 조합자와 임의의 Coq 데이터 유형 간의 상호 운용성을 통해 확장성을 지원하며, 고정된 C 스타일 구조체 외의 유형에도 적용 가능하다.
• 동일한 형식 사양이 인코더와 디코더 생성에 직접적으로 사용되므로 중복 없이 생성된 코드가 되었으며, 복제나 수동 번역 없이도 구현되었다.
• 기존의 코드 생성 및 파서 조합 도구와 비교해 복잡한 정확성 보장을 제공함으로써 프레임워크는 기계적으로 검증된 증명을 제공함으로써 비공식적이거나 수작업적인 검증 방식을 초월한다.