[논문 리뷰] Binary-Compatible Verification of Filesystems with ACL2

Mehta, Mihir Parang, Cook, William R.|arXiv (Cornell University)|2018. 10. 05.

Advanced Data Storage Technologies참고 문헌 15인용 수 7

한 줄 요약

이 논문은 파일 시스템의 크래시 일관성 검증을 위한 새로운 블랙박스 방법인 Bounded Black-Box Crash Testing(B3)를 소개한다. 이 방법은 fsync() 호출 이후에 크래시가 발생하는 조건에서 유한한 작업 워크로드를 체계적으로 생성함으로써, 파일 시스템의 크래시 일관성 버그를 포괄적으로 검증한다. 이 방법은 CRASHMONKEY와 ACE 도구를 통해 구현되었으며, 기존에 알려진 26개의 크래시 일관성 버그 중 24개를 확인하고, 널리 사용되는 리눅스 파일 시스템에서 10개의 새로운 심각한 버그를 발견하였다. 이는 데이터 손실 및 원자성 위반을 포함하며, 형식적으로 검증된 파일 시스템인 FSCQ에서도 발견되었다.

ABSTRACT

Filesystems are an essential component of most computer systems. Work on the verification of filesystem functionality has been focused on constructing new filesystems in a manner which simplifies the process of verifying them against specifications. This leaves open the question of whether filesystems already in use are correct at the binary level. This paper introduces LoFAT, a model of the FAT32 filesystem which efficiently implements a subset of the POSIX filesystem operations, and HiFAT, a more abstract model of FAT32 which is simpler to reason about. LoFAT is proved to be correct in terms of refinement of HiFAT, and made executable by enabling the state of the model to be written to and read from FAT32 disk images. EqFAT, an equivalence relation for disk images, considers whether two disk images contain the same directory tree modulo reordering of files and implementation-level details regarding cluster allocation. A suite of co-simulation tests uses EqFAT to compare the operation of existing FAT32 implementations to LoFAT and check the correctness of existing implementations of FAT32 such as the mtools suite of programs and the Linux FAT32 implementation. All models and proofs are formalized and mechanically verified in ACL2.

연구 동기 및 목표

• ext4, xfs, btrfs, F2FS와 같은 널리 사용되는 리눅스 파일 시스템에서의 수동적 크래시 일관성 테스팅 부족 문제를 해결하기 위해.
• 최근 5년간 보고된 크래시 일관성 버그의 체계적 패턴을 분석하여 자동화된 유한한 테스팅을 가능하게 하기 위해.
• 소스 코드 수정이나 형식적 검증 없이도 확장 가능한 블랙박스 테스팅 프레임워크를 설계하고 구현하기 위해.
• 성숙하고 생산용도의 파일 시스템, 특히 형식적으로 검증된 파일 시스템에서도 이전에 알려지지 않은 크래시 일관성 버그를 발견하기 위해.

제안 방법

• B3는 파일 작업 수, fsync(), fdatasync(), 또는 sync만을 지속성 포인트로 사용하고, 초기 상태를 새롭게 생성된 빈 파일 시스템으로 제한함으로써 무한한 작업 워크로드 공간을 유한하게 제한한다.
• CRASHMONKEY는 각 지속성 포인트 이후에 전원 장애 크래시를 시뮬레이션하기 위해 I/O 작업을 재생하고 크래시 상태를 캡처한 후, 복구 후에 지속된 데이터가 유지되고 올바른지 확인한다.
• ACE는 사용자가 지정한 범위 내에서 유효한 모든 워크로드를 자동으로 생성하며, 이는 파일 작업과 인자, 지속성 포인트, 그리고 종속성 유지 순서를 포함한다.
• CRASHMONKEY는 대상 파일 시스템을 수정하지 않고도 복구 후 파일 및 메타데이터 일관성을 검증하기 위해 세밀한 체크를 사용한다.
• 이 프레임워크는 ext4, xfs, btrfs, F2FS, FSCQ에 적용되었으며, 도구는 기존 및 신규 버그 테스트에 모두 배포되었다.

실험 결과

연구 질문

• RQ1 최근 5년간 널리 사용되는 리눅스 파일 시스템에서 크래시 일관성 버그가 공통적으로 가지는 패턴은 무엇인가?
• RQ2 최소한의 가정으로 유한한 블랙박스 테스팅을 통해 크래시 일관성 버그를 체계적으로 발견할 수 있는가?
• RQ3 이러한 접근 기반의 자동화 도구가 성숙한 파일 시스템에서 기존 및 이전에 발견되지 않은 크래시 일관성 버그를 모두 발견할 수 있는가?
• RQ4 이 방법이 형식적으로 검증된 파일 시스템의 버그를 어느 정도 탐지할 수 있는가? 이는 검증 스택 내의 잠재적 결함을 시사하는가?

주요 결과

• CRASHMONKEY와 ACE는 7개 커널 버전과 3개 파일 시스템(ext4, xfs, btrfs)에서 이전에 보고된 26개 크래시 일관성 버그 중 24개를 성공적으로 재현하였다.
• 이 도구들은 널리 사용되는 리눅스 파일 시스템에서 10개의 새로운 크래시 일관성 버그를 발견하였으며, 이는 fsync() 이후 데이터 손실 및 잘못된 rename 원자성과 같은 심각한 문제를 포함한다.
• btrfs와 F2FS의 10개 신규 버그 중 7개는 2014년부터 커널에 존재해왔으며, 오랫동안 발견되지 않은 결함임을 시사한다.
• 이 도구들은 형식적으로 검증된 파일 시스템인 FSCQ에서도 데이터 손실 버그를 발견하였으며, 이는 구성 요소의 검증 갭이 정확성에 영향을 줄 수 있음을 보여준다.
• 10개의 신규 버그 중 5개는 이미 개발자에 의해 패치되었으며, 나머지 7개는 현재 수정 개발 중이다.
• 연구 결과, 크래시 일관성 버그의 96%(25/26)는 새로 생성된 파일 시스템에서 3개 이하의 작업으로 구성된 워크로드로, fsync() 호출 직후에 크래시가 발생할 경우에만 발생함을 확인하였다.