[논문 리뷰] Gauntlet: Finding Bugs in Compilers for Programmable Packet Processing

Fabian Ruffy, Tao Wang외 1명|arXiv (Cornell University)|2020. 06. 01.

Software-Defined Networks and 5G참고 문헌 43인용 수 7

한 줄 요약

Gauntlet은 P4 16 컴파일러에서 컴파일러 버그를 탐지하기 위해 무작위 프로그램 생성, 자동 번역 검증, 모델 기반 테스팅을 결합한 도메인 특화 도구이다. P4C, P4 참조 소프트웨어 스위치, Barefoot Tofino 백엔드에서 총 96개의 별개의 버그를 발견하였으며, 이 중 62개는 충돌 버그이고 34개는 의미적 문제였다. 이 중 54개는 수정되었고, 도구는 이제 P4C의 CI 파이프라인에 통합되었다.

ABSTRACT

Programmable packet-processing devices such as programmable switches and network interface cards are becoming mainstream. These devices are configured in a domain-specific language such as P4, using a compiler to translate packet-processing programs into instructions for different targets. As networks with programmable devices become widespread, it is critical that these compilers be dependable. This paper considers the problem of finding bugs in compilers for packet processing in the context of P4-16. We introduce domain-specific techniques to induce both abnormal termination of the compiler (crash bugs) and miscompilation (semantic bugs). We apply these techniques to (1) the open-source P4 compiler (P4C) infrastructure, which serves as a common base for different P4 back ends; (2) the P4 back end for the P4 reference software switch; and (3) the P4 back end for the Barefoot Tofino switch. Across the 3 platforms, over 8 months of bug finding, our tool Gauntlet detected 96 new and distinct bugs (62 crash and 34 semantic), which we confirmed with the respective compiler developers. 54 have been fixed (31 crash and 23 semantic); the remaining have been assigned to a developer. Our bug-finding efforts also led to 6 P4 specification changes. We have open sourced Gauntlet at p4gauntlet.github.io and it now runs within P4C's continuous integration pipeline.

연구 동기 및 목표

• 프로그래머블 패킷 처리 장치에서 신뢰할 수 있는 컴파일러가 필수적임을 감안해 현대 네트워크 인fra에서 핵심적인 역할을 하는 컴파일러의 신뢰성을 확보하기 위해.
• P4의 도메인 특화 제약 조건(예: 반복문과 포인터의 부재)을 활용해 일반적 컴파일러 버그 탐지 기법의 한계를 극복하기 위해.
• P4 컴파일러에서 충돌 버그와 의미적 버그를 모두 정확하고 자동화되며 확장 가능한 방법으로 탐지하는 스케일링 가능한 방법 개발을 위해.
• 지속적 통합 파이프라인에 도구를 통합해 컴파일러 정확성에 대한 지속적이고 자동화된 검증을 가능하게 하기 위해.

제안 방법

• P4의 최소한의 정의되지 않은 동작를 고려해 문법적으로 올바르고 타입이 올바른 P4 프로그램을 무작위로 생성하여 컴파일러 충돌을 유도한다.
• 형식적 의미론을 활용한 자동 번역 검증을 적용하여 컴파일러 단계 간의 정확성을 검증한다. 이는 P4의 유한하고 결정 가능성이 있는 프로그램 등가성 덕분이다.
• 형식적 의미론 기반으로 입력-출력 패킷 쌍을 생성하여 컴파일러의 내부 표현에 접근할 수 없더라도 블랙박스 테스팅을 가능하게 한다.
• P4 16을 위한 형식적 인터프리터와 의미론을 개발하여 번역 검증과 모델 기반 테스팅을 지원함으로써 각 컴파일러 단계에 대한 수동 검증 의존도를 낮춘다.
• P4C의 CI 파이프라인에 Gauntlet을 통합하여 지속적이고 자동화된 회귀 테스팅과 회귀의 조기 탐지 기능을 제공한다.
• 타겟별 외부 함수를 다룰 수 있도록 확장성 모델을 제공하지만, 저수준 하드웨어 지식이 없이선 이러한 요소의 정확한 의미론 확보가 어렵다.

실험 결과

연구 질문

• RQ1 일반적 프로그래밍 언어에 비해 P4의 도메인 특화 제약 조건을 활용하면 컴파일러 버그 탐지 과정을 단순화하고 자동화할 수 있는가?
• RQ2 P4와 같은 도메인 특화 언어에서 프로그램 등가성이 결정 가능하기 때문에, 자동 번역 검증을 얼마나 정밀하고 확장 가능하게 만들 수 있는가?
• RQ3 무작위 프로그램 생성, 번역 검증, 모델 기반 테스팅의 조합이 실제 생산용 P4 컴파일러에서 실질적인 컴파일러 버그를 얼마나 효과적으로 탐지할 수 있는가?
• RQ4 이러한 도구를 CI 파이프라인에 통합하여 지속적 검증을 가능하게 하고 장기적인 컴파일러 신뢰성을 향상시킬 수 있는가?

주요 결과

• Gauntlet은 P4 컴파일러 백엔드 3개에서 총 96개의 새로운 별개의 컴파일러 버그를 탐지하였다: 충돌 버그 62개, 의미적 버그 34개.
• 보고된 96개의 버그 중 54개는 수정되었으며(충돌 버그 31개, 의미적 버그 23개), 나머지 42개는 개발자에게 이관되어 해결을 기다리고 있다.
• 이 도구는 P4 언어 사양에 6건의 변경 사항을 이끌어내어 언어 설계 및 표준화에 영향을 미쳤다.
• Gauntlet은 이제 P4C의 지속적 통합(CI) 파이프라인에 통합되어 지속적이고 자동화된 회귀 테스팅이 가능해졌다.
• 이러한 접근은 의미가 제한되고 정의된 언어에서 정밀하고 자동화되며 확장 가능한 컴파일러 검증이 가능함을 보여주며, 이전의 일반적 기법의 한계를 극복한다.
• Gauntlet의 성공은 이러한 기법이 P4를 초월해 등가성이 결정 가능하고 정의되지 않은 동작가 적은 다른 도메인 특화 언어로도 일반화될 수 있음을 시사한다.