[논문 리뷰] Effectively Prefetching Remote Memory with Leap

Hasan Al Maruf, Mosharaf Chowdhury|arXiv (Cornell University)|2019. 11. 22.

Advanced Data Storage Technologies참고 문헌 63인용 수 30

한 줄 요약

Leap는 RDMA 기반 메모리 분리 아키텍처에서 원격 메모리 액세스를 위한 커널 레벨 프리패칭 솔루션입니다. 온라인 다수 기반 프리패칭 알고리즘과 경량이며 고립된 데이터 경로를 사용하여 원격 페이지 액세스 지연을 최대 104.04배(중앙값 기준) 및 22.62배(꼬리 지연 기준) 감소시켜 기존 최첨단 솔루션 대비 애플리케이션 성능을 최대 10.16배 향상시킵니다.

ABSTRACT

Memory disaggregation over RDMA can improve the performance of memory-constrained applications by replacing disk swapping with remote memory accesses. However, state-of-the-art memory disaggregation solutions still use data path components designed for slow disks. As a result, applications experience remote memory access latency significantly higher than that of the underlying low-latency network, which itself is too high for many applications. In this paper, we propose Leap, a prefetching solution for remote memory accesses due to memory disaggregation. At its core, Leap employs an online, majority-based prefetching algorithm, which increases the page cache hit rate. We complement it with a lightweight and efficient data path in the kernel that isolates each application's data path to the disaggregated memory and mitigates latency bottlenecks arising from legacy throughput-optimizing operations. Integration of Leap in the Linux kernel improves the median and tail remote page access latencies of memory-bound applications by up to 104.04x and 22.62x, respectively, over the default data path. This leads to up to 10.16x performance improvements for applications using disaggregated memory in comparison to the state-of-the-art solutions.

연구 동기 및 목표

• 기본 네트워크 지연을 초월하는 높은 원격 메모리 액세스 지연 문제를 해결하여 애플리케이션 성능을 제한하는 문제를 해결합니다.
• 느린 디스크를 대상으로 설계된 기존 데이터 경로 컴포onent을 재사용함으로써 저지연 네트워크 환경에서 최적의 성능을 내지 못하는 문제를 해결합니다.
• 원격 메모리 환경에서 페이지 캐시 히트율을 높여 반복적인 원격 액세스를 줄이는 프리패칭 메커니즘을 설계합니다.
• 기존의 성능 최적화 기반의 통과량 중심 운영 방식에서 발생하는 지연 병목 현상을 제거하기 위해 경량이며 응용 프로그램 고립형 커널 데이터 경로를 개발합니다.
• 기존 최첨단 접근 방식 대비 분리된 메모리 환경에서 메모리에 의존하는 애플리케이션의 성능 향상을 크게 달성합니다.

제안 방법

• Leap는 실시간으로 관찰된 액세스 패턴을 기반으로 원격 메모리 페이지를 예측하고 프리패칭하는 온라인 다수 기반 프리패칭 알고리즘을 사용합니다.
• 시스템은 커널 내에서 각 응용 프로그램의 원격 메모리 데이터 경로를 고립시켜 간섭을 방지하고 공유 경로 운영으로 인한 지연을 줄입니다.
• 기존의 통과량 최적화 기반 메커니즘으로 인해 발생하는 오버헤드를 최소화하고 성능 병목 현상을 피하기 위해 경량 커널 레벨 데이터 경로를 설계합니다.
• 프리패칭 알고리즘은 지속적이고 적응적으로 작동하며, 액세스 빈도와 국소성 패턴을 활용해 다음에 액세스될 가능성이 높은 페이지를 우선순위로 지정합니다.
• Leap는 직접적으로 리눅스 커널에 통합되어 응용 프로그램 수정 없이도 원활한 배포와 저수준 시스템 상호작용을 가능하게 합니다.
• 프리패칭 논리와 데이터 경로를 공동 설계하여 프리패칭이 메모리 액세스의 핵심 경로에서 경쟁이나 지연을 증가시키지 않도록 보장합니다.

실험 결과

연구 질문

• RQ1 온라인 다수 기반 프리패칭은 RDMA 기반 메모리 분리 아키텍처에서 원격 메모리 액세스 지연을 얼마나 줄일 수 있는가?
• RQ2 커널 내 응용 프로그램 데이터 경로를 고립시키는 것이 원격 메모리 액세스 지연과 성능 고립성에 어떤 영향을 미치는가?
• RQ3 기존의 디스크 최적화 데이터 경로를 경량이며 저지연 데이터 경로로 대체할 경우 성능 향상은 어느 정도 달성될 수 있는가?
• RQ4 Leap는 중앙값 및 꼬리 지연 감소 측면에서 기존 최첨단 메모리 분리 솔루션과 비교해 어떤가?
• RQ5 기존 솔루션 대비 메모리에 의존하는 애플리케이션의 엔드 투 엔드 성능 향상은 얼마나 이루어지는가?

주요 결과

• Leap는 메모리 분리 아키텍처에서 기본 커널 데이터 경로 대비 중앙값 기준 원격 페이지 액세스 지연을 최대 104.04배 감소시킵니다.
• Leap는 꼬리 지연(99번째 백센타일) 기준 원격 페이지 액세스 지연을 최대 22.62배 감소시켜 지연 민감도가 높은 워크로드의 반응성을 크게 향상시킵니다.
• Leap를 사용하는 애플리케이션은 기존 최첨단 메모리 분리 솔루션 대비 최대 10.16배 높은 성능을 달성합니다.
• 리눅스 커널에 Leap를 통합함으로써 기존 통과량 최적화 기반 운영 방식에서 발생하는 데이터 경로의 지연 병목 현상을 성공적으로 완화했습니다.
• 온라인 다수 기반 프리패칭 알고리즘이 효과적으로 페이지 캐시 히트율을 높여 불필요한 원격 메모리 액세스를 줄였습니다.
• 고립된 데이터 경로 설계로 인해 응용 프로그램별 메모리 액세스 패턴 간 간섭이 방지되어 예측 가능성과 성능이 향상되었습니다.