[논문 리뷰] DBOS: A Proposal for a Data-Centric Operating System

Michael Cafarella, David J. DeWitt외 6명|arXiv (Cornell University)|2020. 07. 21.

Cloud Computing and Resource Management참고 문헌 63인용 수 4

한 줄 요약

DBOS는 운영 체제를 데이터 중심 모델로 근본적으로 재설계하며, 모든 시스템 상태를 데이터베이스 테이블로 저장하고 선언적 쿼리를 통해 관리한다. 이 설계는 데이터베이스 관리 시스템(DBMS) 기술을 활용해 상태 관리를 통합하고 디버깅을 단순화하며, 단일 기반의 대대적인 재작성 없이도 스케일링 가능하고 안전하며 조합 가능한 시스템 관리를 가능하게 하여 클라우드, 서버리스 및 AI 기반 워크로드에 특히 유리하다.

ABSTRACT

Current operating systems are complex systems that were designed before today's computing environments. This makes it difficult for them to meet the scalability, heterogeneity, availability, and security challenges in current cloud and parallel computing environments. To address these problems, we propose a radically new OS design based on data-centric architecture: all operating system state should be represented uniformly as database tables, and operations on this state should be made via queries from otherwise stateless tasks. This design makes it easy to scale and evolve the OS without whole-system refactoring, inspect and debug system state, upgrade components without downtime, manage decisions using machine learning, and implement sophisticated security features. We discuss how a database OS (DBOS) can improve the programmability and performance of many of today's most important applications and propose a plan for the development of a DBOS proof of concept.

연구 동기 및 목표

• 현재 단일 기반 운영 체제 아키텍처가 충족하지 못하는 현대 클라우드 및 병렬 컴퓨팅 환경의 확장성, 이질성, 가용성 및 보안 도전 과제를 해결하기 위해.
• 모든 운영 체제 상태를 데이터베이스 테이블로 통합하여 시스템 소프트웨어를 단순화하고 추상화의 과잉을 줄이며, 선언적 쿼리 기반의 시스템 운영을 가능하게 하기 위해.
• 서버리스 컴퓨팅, 머신러닝 및 마이크로서비스와 같은 현대 워크로드를 지원하기 위해 데이터 기원, 프라이버시 제어(예: GDPR) 및 동적 자원 관리를 천연 통합하기 위해.
• DBMS 기반 아키텍처를 통해 비파괴적 업그레이드, 스키마 진화 및 런타임 최적화를 가능하게 하기 위해.
• DBMS 네이티브 운영 체제에서 마이크로서비스 및 데이터 집약적 워크로드를 끝에서 끝까지 프로토타yped하여 실현 가능성을 입증하기 위해.

제안 방법

• 프로세스, 파일, 네트워크 연결, 보안 정책 등의 모든 운영 체제 상태를 일급 데이터베이스 테이블로 표현하기.
• 시스템 운영을 위해 SQL 유사 선언적 쿼리를 사용하여 지시형 시스템 호출을 대체하고 저수준 복잡성을 줄이기.
• 대규모 이질적 하드웨어에서 확장성 있고 장애 내성적이며 일관된 상태 관리를 위해 분산 DBMS 기술을 활용하기.
• 서버리스 작업 실행(Lambda 방식 등)을 DBMS의 가시성과 통합하여 동적이고 데이터 기반의 스케줄링 및 자원 할당을 가능하게 하기.
• DBMS를 사용해 데이터 기원, 액세스 제어 및 프라이버시 정책(예: GDPR 준수를 위한 지역별 데이터 저장)을 선언적으로 관리하기.
• DBMS 쿼리 최적화 및 메타데이터 기반 배치를 통해 가속기(GPU, FPGA 등)로 계산을 투명하게 오프로드하기.

실험 결과

연구 질문

• RQ1 데이터베이스 테이블과 쿼리 기반의 데이터 중심 운영 체제 아키텍처가 수백만 대의 노드와 복잡한 이질적 데이터센터 워크로드를 지원하기에 충분히 확장 가능한가?
• RQ2 DBMS 기반의 시스템 운영이 기존 단일 기반 운영 체제에 비해 추상화의 과잉을 줄이고 성능 및 유지보수성 향상에 기여하는가?
• RQ3 DBOS가 선언적 데이터 관리 및 최적화된 작업 스케줄링을 통해 저지연 마이크로서비스 및 실시간 AI 워크로드를 천연 지원할 수 있는가?
• RQ4 DBOS가 응용 프로그램 코드의 재작성 없이도 비파괴적 시스템 업그레이드, 스키마 진화 및 보안 정책 변경을 가능하게 하는가?
• RQ5 DBMS 쿼리를 통해 시스템 상태와 머신러닝을 통합함으로써 자동화되고 데이터 기반의 시스템 튜닝 및 최적화를 가능하게 하는가?

주요 결과

• DBOS는 데이터 관리와 응용 프로그램 로직을 분리함으로써 비파괴적 업그레이드와 스키마 진화를 가능하게 하여, 스키밍 또는 분할과 같은 변경에 필요한 엔지니어링 노력의 상당한 감소를 이룬다.
• 시스템은 사용자 데이터를 지역적으로 저장하고 DBMS 메타데이터를 통해 데이터 기원을 추적함으로써 GDPR 준수를 강제할 수 있으며, 코드 변경 없이도 즉시 삭제가 가능하다.
• DBOS는 선언적 스키마 및 분할 변경을 통해 계산 배치의 동적 재구성(예: 단일 기반에서 세밀한 마이크로서비스 배포로의 전환)을 지원한다.
• 아키텍처는 DBMS 쿼리 최적화 및 메타데이터 기반 라우팅을 통해 AI 및 데이터 집약적 워크로드(예: 추천 엔진)를 자동으로 가속기로 오프로드할 수 있도록 한다.
• 시스템 상태를 데이터베이스 테이블로 표현함으로써 DBOS는 표준 SQL 쿼리를 통해 전체 시스템 인스펙션, 디버깅 및 모니터링이 가능해져 가시성을 향상시키고 디버깅 복잡성을 감소시킨다.
• 프로토타입은 DBMS 기반 상태에서 작동하는 서버리스 함수가 소셜 네트워크와 같은 지연 민감도가 높은 워크로드에서 저지연 응답과 효율적인 자원 활용을 달성할 수 있음을 보여준다.