[논문 리뷰] FluidMem: Memory as a Service for the Datacenter

Blake Caldwell, Youngbin Im외 3명|arXiv (Cornell University)|2017. 07. 25.

Cloud Computing and Resource Management참고 문헌 27인용 수 5

한 줄 요약

FluidMem는 데이터센터에서 표준 응용 프로그램이 Linux의 userfaultfd 및 핫플러그 메모리 메커니즘을 통해 투명하게 원격 메모리 액세스를 가능하게 하는 완전한 메모리 as a Service (MaaS) 시스템을 소개한다. 이 시스템은 MongoDB, 게놈 어셈블러, Spark, Graph500과 같은 수정되지 않은 워크로드를 지원하며, 로컬 물리적 메모리 한계를 초과하는 경우에도 원격 메모리가 응용 프로그램에 그대로 노출될 수 있음을 입증한다.

ABSTRACT

Disaggregating resources in data centers is an emerging trend. Recent work has begun to explore memory disaggregation, but suffers limitations including lack of consideration of the complexity of cloud-based deployment, including heterogeneous hardware and APIs for cloud users and operators. In this paper, we present FluidMem, a complete system to realize disaggregated memory in the datacenter. Going beyond simply demonstrating remote memory is possible, we create an entire Memory as a Service. We define the requirements of Memory as a Service and build its implementation in Linux as FluidMem. We present a performance analysis of FluidMem and demonstrate that it transparently supports remote memory for standard applications such as MongoDB and genome sequencing applications.

연구 동기 및 목표

• 이질적인 하드웨어와 기존 클라우드 API를 지원하는 생산성에 적합한 메모리 디스 aggregated 시스템의 부족을 해결한다.
• 응용 프로그램 또는 운영 체제 수정 없이 스케일업 및 스케일아웃 애플리케이션을 위한 투명한 원격 메모리 액세스를 가능하게 한다.
• 가상 머신에서 동적 메모리 확장을 지원하는 완전하고 생산성에 적합한 메모리 as a Service (MaaS)의 구현을 제공한다.
• 다양한 백엔드 메모리 스토리지(예: RAMCloud, 키-밸류 스토리지)와 이질적인 네트워킹을 실 데이터센터 환경에서 지원한다.
• 핫플러그를 통해 응용 프로그램에 직접 물리적 원격 메모리를 노출시켜 메모리 인식 최적화를 가능하게 하고 OOM 실패를 방지한다.

제안 방법

• 커널 수정 없이 사용자 공간에서 페이지 터널을 처리할 수 있도록 Linux의 userfaultfd 메커니즘을 활용하여, 윈도우 기반의 비동기 원격 메모리 액세스를 유연하게 지원한다.
• 가상 머신에서 가상 메모리를 동적으로 확장할 수 있도록 Linux 핫플러그 메모리 인터페이스와 통합하여, 응용 프로그램이 원격 메모리를 로컬 메모리인 것처럼 사용할 수 있도록 한다.
• 원격 메모리가 키-밸류 스토리지(예: RAMCloud)에 의해 백업되도록 계층적 아키텍처를 설계하여, 기반 스토리지 및 네트워크 스택을 추상화한다.
• 플러그인 인터페이스를 통해 여러 백엔드 메모리 스토리지(논문에서 평가된 3종)를 지원하여 최적화 및 이질성에 대응한다.
• 기존 클라우드 인fra구조와의 호환성을 확보하고 응용 프로그램 수준의 변경 없이 구현하기 위해 VM 기반 배포 모델을 사용한다.
• 응용 프로그램 또는 운영 체제 의미 체계에 간섭 없이 가상 메모리 터널 처리 레이어에 원격 메모리 추상화를 삽입하여 투명한 메모리 액세스를 실현한다.

실험 결과

연구 질문

• RQ1 이질적인 데이터센터 환경에서 수정되지 않은 클라우드 애플리케이션을 지원하는 완전하고 생산성에 적합한 메모리 as a Service 시스템을 구축할 수 있는가?
• RQ2 응용 프로그램의 코드 변경 없이 추가 용량을 감지하고 활용할 수 있도록 원격 메모리를 어떻게 노출시킬 수 있는가?
• RQ3 실세계 워크로드에서 사용자 공간 기반 원격 메모리 시스템의 성능 및 확장성 특성은 어떠한가?
• RQ4 메모리 집약적이고 분산되지 않은 워크로드(예: 게놈 어셈블리, 데이터베이스 시스템)를 지원하기에 충분히 효율적이고 신뢰할 수 있는 원격 메모리 액세스가 가능한가?
• RQ5 가상화된 클라우드 환경에서 동적 메모리 확장 및 고립을 시스템은 어떻게 처리하는가?

주요 결과

• FluidMem는 MongoDB가 원격 메모리를 투명하게 사용할 수 있도록 하여, 내부 메모리 관리 전략을 확장된 용량에 맞게 최적화할 수 있도록 했다.
• SOAPdenovo 및 Velvet과 같은 게놈 시퀀싱 애플리케이션은 로컬 60GB, FluidMem를 통해 12GB의 원격 메모리가 있는 72GB의 VM에서 인간 염색체 14번의 전체 어셈블리 작업을 성공적으로 완료했으며, 이는 메모리 고갈로 인해 기존에 실패할 수밖에 없던 작업이었다.
• Graph500 BFS 벤치마크와 Apache Spark는 수정 없이 FluidMem에서 성공적으로 실행되어 메모리 기반의 비정규 워크로드에 대한 지원을 입증했다.
• 원격 메모리 액세스 지연 시간은 3–5 μs 범위 내에 있었으며, 이는 이전 연구에서 최소 성능 저하를 위해 필요하다고 판단된 성능 기준을 충족했다.
• 핫플러그를 통한 투명한 메모리 확장이 가능하여, VM이 단일 노드에 존재하는 물리적 메모리보다 더 많은 메모리를 동적으로 액세스할 수 있도록 했다.
• userfaultfd 기반 처리 방식은 여러 백엔드 키-밸류 스토리지의 지원을 가능하게 하였고, 동시에 비동기 페이지 터널 처리를 가능하게 하여 확장성과 반응성 향상을 이뤘다.