[논문 리뷰] BPF for storage: an exokernel-inspired approach

Yu Jian Wu, Hongyi Wang외 5명|arXiv (Cornell University)|2021. 02. 25.

Advanced Data Storage Technologies참고 문헌 20인용 수 4

한 줄 요약

이 논문은 eBPF를 사용하여 커널 I/O 스택의 깊은 곳에 사용자 정의 함수를 삽입함으로써 파일 시스템 및 블록 레이어를 건너뛰어 지연을 줄이고 IOPS를 높이는 방법을 제안한다. 디스크 상의 데이터 구조(예: B-트리)를 BPF 기반으로 순회함으로써, NVMe 디바이스에서 IOPS는 2.5배 이상 향상되고 지연은 50% 감소하지만, 익소커널 유사 메커니즘을 통해 파일 시스템의 안전성을 유지한다.

ABSTRACT

The overhead of the kernel storage path accounts for half of the access latency for new NVMe storage devices. We explore using BPF to reduce this overhead, by injecting user-defined functions deep in the kernel's I/O processing stack. When issuing a series of dependent I/O requests, this approach can increase IOPS by over 2.5$ imes$ and cut latency by half, by bypassing kernel layers and avoiding user-kernel boundary crossings. However, we must avoid losing important properties when bypassing the file system and block layer such as the safety guarantees of the file system and translation between physical blocks addresses and file offsets. We sketch potential solutions to these problems, inspired by exokernel file systems from the late 90s, whose time, we believe, has finally come!

연구 동기 및 목표

• 현대 NVMe 디바이스에서 I/O 지연의 약 ~50%를 차지하는 커널 소프트웨어 오버헤드를 줄이기 위해.
• 커널 수정 없이 애플리케이션 수준의 재작성 없이 eBPF를 통해 응용 프로그램 전용 저수준 I/O 처리를 가능하게 하기 위해.
• 기존 커널 레이어를 건너뛰더라도 파일 시스템의 안전성과 액세스 제어 보장을 유지하기 위해.
• 의존적인 작업(예: 인덱스 순회)을 위한 효율적이고 고속의 I/O 체이닝을 지원하기 위해.
• 기존 커널 스케줄링에 의존하지 않고도 BPF 기반 저장소 작업에서의 동시성과 공정성을 보장하기 위해.

제안 방법

• I/O 요청을 커널 내부에서 직접 처리하기 위해 커널 I/O 경로의 깊은 곳에 eBPF 프로그램을 삽입하여 사용자-커널 전환을 피하기 위해.
• 사용자 공간으로 복귀하지 않고도 여러 I/O 작업을 연결함으로써 B-트리, LSM 트리 등 디스크 상의 데이터 구조를 BPF를 사용해 순회하기 위해.
• 파일 시스템 영역이 해제될 경우 BPF가 발행한 I/O를 무효화할 수 있도록 NVMe 레이어에 훅을 구현하여 일관성을 유지하기 위해.
• 무한 루프나 자원 고갈을 방지하기 위해 NVMe 레이어에 프로세스별로 I/O 체인 카운터를 도입하여 체인된 I/O 제출을 제한하기 위해.
• 익소커널 원칙을 활용하여 사용자 정의로 파일 시스템 메타데이터를 이해할 수 있도록 하되, 격리성과 안전성을 유지하기 위해.
• BPF 함수가 페이지가 아닌 애플리케이션 수준의 객체를 반환하도록 캐싱 모델을 설계하여 현대 애플리케이션 수준의 캐시 관리와 일치시키기 위해.

실험 결과

연구 질문

• RQ1 eBPF를 어떻게 활용하여 빠른 스토리지 스택에서 커널 I/O 오버헤드를 줄일 수 있을까? 이때 안전성과 이식성은 희생하지 않도록 하기 위해.
• RQ2 파일 시스템 및 블록 레이어를 건너뛸 경우, 파일 시스템 액세스 제어와 데이터 무결성을 확보하기 위해 어떤 메커니즘이 필요한가?
• RQ3 BPF 기반 I/O 체이닝을 어떻게 안전하고 효율적으로 만들 수 있을까? 특히 인덱스 순회와 같은 상태 기반의 의존적 작업을 위해.
• RQ4 동시적인 BPF 기반 I/O 워크로드에서 공정성과 자원 고갈을 방지하기 위해 어떤 메커니즘이 필요한가?
• RQ5 BPF 기반 스토리지 작업이 기존 리눅스 파일 시스템과 I/O 스케줄링 정책과 어떻게 상호 운용할 수 있을까?

주요 결과

• BPF 기반 I/O 체이닝은 현대 NVMe 스토리지 디바이스에서 I/O 지연을 50% 감소시키고 IOPS를 2.5배 이상 향상시킨다.
• 사용자-커널 전환을 제거하고 파일 시스템 및 블록 레이어를 건너뛰므로 상당한 성능 향상을 달성한다.
• NVMe 레이어에 훅을 구현함으로써 파일 영역이 해제될 경우 BPF가 발행한 I/O를 무효화할 수 있어 최소한의 오버헤드로 일관성을 유지한다.
• 프로세스별 I/O 체인 카운터는 무한 루프를 방지하고 다중 프로세스 환경에서의 공정성을 지원한다.
• 불변 데이터 구조(예: LSM SSTables, 디스크 상의 B-트리)에 대한 읽기 전용 BPF 순회를 지원하여 현대 스토리지 시스템에서 흔한 구조를 효율적으로 처리한다.
• 애플리케이션 수준 캐싱과 잘 통합되며 커널의 버퍼 캐시 간섭을 피함으로써 효율적이고 객체 기반의 데이터 관리가 가능하다.