[논문 리뷰] Nova: Safe Off-Heap Memory Allocation and Reclamation

Brown, Trevor|arXiv (Cornell University)|2017. 12. 04.

Distributed systems and fault tolerance인용 수 2

한 줄 요약

이 논문은 잠금이 없는 데이터 구조를 위한 분산 에포크 기반 메모리 재활용 기법인 DEBRA를 제안한다. 이 기법은 동기화 오버헤드를 줄이고, 고장난 프로세스로 인한 메모리 泄漏를 방지한다. 신호 전달 원리와 새로운 중성화 기법을 통해 DEBRA+는 운영당 평균 O(1) 비용으로 장애 내성 재활용을 보장하며, DEBRA 대비 최대 94% 낮은 메모리 사용량을 기록하고, 평균적으로 하이어저 포인터보다 70% 빠르게 성능을 냈다.

ABSTRACT

In recent years, we begin to see Java-based systems embrace off-heap allocation for their big data demands. As of today, these system rely on simple ad-hoc garbage-collection solutions, which restrict the usage of off-heap data. This paper introduces the abstraction of safe off-heap memory allocation and reclamation (SOMAR), a thread-safe memory allocation and reclamation scheme for off-heap data in otherwise managed environments. SOMAR allows multi-threaded Java programs to use off-heap memory seamlessly. To realize this abstraction, we present Nova, Novel Off-heap Versioned Allocator, a lock-free SOMAR implementation. Our experiments show that Nova can be used to store off-heap data in Java data structures with better performance than ones managed by Java’s automatic GC. We further integrate Nova into the open-source Oak concurrent map library, which allows Oak to reclaim keys while the data structure is being accessed.

연구 동기 및 목표

• 잠금이 없는 데이터 구조에서 안전한 메모리 재활용을 해결하기 위해, 기존 기법인 하이어저 포인터와 에포크 기반 재활용(EBR)이 높은 오버헤드 또는 장애에 취약한 점을 해결하고자 한다.
• 에포크 기반 재활용에서 고장나거나 정지된 프로세스로 인해 발생하는 메모리 泄漏 위험을 제거하여, 모든 메모리 재활용이 무한정 차단되는 것을 방지하고자 한다.
• 메모리 재활용 로직을 데이터 구조 구현에서 분리하여 최소한의 성능 비용으로도 모듈화되고 조합 가능한 추상화인 '레코드 매니저'를 설계하고자 한다.
• 다양한 워크로드와 스레드 수에서 고성능과 확장성을 확보하고자 하며, 특히 고도의 경쟁 상황과 NUMA 아키텍처 환경에서의 성능을 중시한다.

제안 방법

• 시스템 신호 전달(예: 리눅스의 futex)을 사용하여 다수의 프로세스 간에 에포크 전진를 조율하는 분산형 에포크 기반 재활용(EBR)의 변종인 DEBRA를 제안한다.
• 프로세스가 컨텍스트 스위칭될 경우 이를 효과적으로 '중성화'할 수 있는 메커니즘을 도입하여, 일부 프로세스가 비활성 상태여도 계속해서 메모리 재활용이 가능하도록 한다.
• 할당, 해제, 재활용 전략을 런타임에 교체할 수 있도록 허용하는 레코드 매니저 추상화를 도입하여, 단 한 줄의 코드로도 모듈성과 성능 이식성을 향상시킨다.
• 유한한 수의 에포크 카운터와 각 프로세스별 에포크 추적을 통해, 활성 프로세스가 접근할 수 없는 상태가 되었을 때에만 퇴출된 객체가 재활용되도록 보장한다.
• 이중 단계 재활용 프로토콜을 적용한다: 첫 번째 단계에서 객체는 퇴출되고 재활용 대기 상태로 표시되며, 두 번째 단계에서 모든 프로세스가 안전한 에포크 경계를 통과한 후에야 최종으로 해제된다.
• 일부 실험에서는 시스템 콜 오버헤드를 줄이기 위해 풀링 전략을 적용하여, 동적 메모리 할당이 존재하더라도 기법이 여전히 효율적임을 입증한다.

실험 결과

연구 질문

• RQ1 고장난 또는 정지된 프로세스가 존재하는 환경에서, 에포크 기반 재활용을 과도한 동기화 오버헤드 없이 장애 내성적으로 만들 수 있는가?
• RQ2 에포크 기반 재활용의 메모리 오버헤드를 줄일 수 있는가? 특히 많은 수의 프로세스가 존재하는 환경에서, 재활용을 기다리는 객체 수를 제한함으로써 이를 달성할 수 있는가?
• RQ3 메모리 재활용 로직을 데이터 구조 로직에서 분리하여 모듈성을 향상시키고, 다양한 재활용 전략 간의 비교를 쉽게 만들 수 있는가?
• RQ4 다양한 워크로드, 스레드 수, 경쟁 수준에서 새로운 재활용 기법이 유발하는 성능 오버헤드는 어느 정도인가?
• RQ5 신호 기반 접근 방식이 실제 잠금이 없는 데이터 구조에서 기존의 하이어저 포인터 및 기타 비자동 재활용 기법보다 우월한 성능을 낼 수 있는가?

주요 결과

• DEBRA+는 프로세스 고장 후에도 계속해서 재활용이 가능하게 하여, DEBRA 대비 평균 94% 낮은 메모리 사용량을 기록한다. 이는 n개의 프로세스와 작은 상수 m에 대해 O(mn²)개의 객체가 해제를 기다리는 상황에서 성립한다.
• DEBRA+는 모든 워크로드와 스레드 수에서 고도로 최적화된 하이어저 포인터 구현보다 평균적으로 70% 빠른 성능을 기록한다.
• 레코드 매니저 추상화를 통해 단 한 줄의 코드로 할당, 풀링, 재활용 전략을 쉽게 교체할 수 있으며, 이로 인한 성능 오버헤드는 거의 없다.
• 균형 잡힌 이진 탐색 트리 실험에서 DEBRA+는 재활용이 전혀 없는 경우 대비 평균 10%의 오버헤드만을 보이며, 일부 케이스에서는 최대 20%의 성능 향상을 기록했다.
• 16코어 시스템에서 64개의 하드웨어 컨텍스트를 사용한 실험에서 DEBRA+는 평균적으로 시험당 935회 프로세스를 중성화하여 피크 메모리 사용량을 크게 감소시켰다.
• 이 기법은 고수준 연산당 평균 O(1) 비용과 객체 퇴출당 최악의 경우 O(1) 비용을 달성하여, 실사용에 매우 효율적이다.