[논문 리뷰] Fast Efficient Fixed-Size Memory Pool: No Loops and No Overhead

Benjamin Kenwright|arXiv (Cornell University)|2022. 10. 29.

Artificial Intelligence in Games참고 문헌 12인용 수 3

한 줄 요약

이 논문은 루프와 메모리 오버헤드를 제거하기 위해 사용되지 않는 메모리 슬롯을 북크립팅용으로 재사용하고 결정론적 인덱싱 기반을 사용함으로써 고성능의 고정 크기 메모리 풀 할당기를 제시한다. 이는 마이크로초 이내의 할당/해제 시간을 달성하여 마이크로초 이내의 할당/해제 시간을 달성하여 malloc과 같은 시스템 할당기보다 벤치마크 테스트에서 최대 10배 빠르며, 게임 엔진과 같은 실시간 시스템에 적합하다.

ABSTRACT

In this paper, we examine a ready-to-use, robust, and computationally fast fixed-size memory pool manager with no-loops and no-memory overhead that is highly suited towards time-critical systems such as games. The algorithm achieves this by exploiting the unused memory slots for bookkeeping in combination with a trouble-free indexing scheme. We explain how it works in amalgamation with straightforward step-by-step examples. Furthermore, we compare just how much faster the memory pool manager is when compared with a system allocator (e.g., malloc) over a range of allocations and sizes.

연구 동기 및 목표

• 시간이 중요한 응용 프로그램을 위해 런타임 루프와 메모리 오버헤드를 제거한 메모리 풀 할당기를 설계하기.
• 최소한의 북크립팅을 사용하여 고정 크기 메모리 풀에서 상수 시간 할당 및 해제를 가능하게 하기.
• 게임 엔진과 같은 실시간 시스템에서 결정론적 저지연 메모리 작업이 필수적인 환경에서 성능을 최적화하기.
• 다양한 할당 크기에서 표준 시스템 할당기인 malloc과의 비교를 통해 현저한 속도 향상을 입증하기.
• 간단하고 검증 가능하며 논리적이고 인덱싱이 명확한 생산용으로 사용 가능한 구현 제공하기.

제안 방법

• 할당기에서는 각 풀 블록 내의 사용되지 않는 메모리 슬롯을 북크립팅 메타데이터 저장소로 사용하여 별도의 자유 리스트 포인터 저장소가 필요 없도록 한다.
• 포인터 산술과 정렬 기반의 결정론적 인덱싱 기반을 사용하여 루프 없이 할당을 직접 메모리 위치로 매핑한다.
• 자유 블록은 블록 자체의 메모리 공간에 저장된 포인터를 통해 연결되며, 힙이나 스택 오버헤드를 피한다.
• 할당/해제 중에 동적 메모리 할당이 발생하지 않아 O(1) 상수 시간 연산이 가능하다.
• 최소한의 분기 및 캐시 우수한 메모리 액세스 패턴을 사용하여 CPU 효율을 극대화한다.
• 다양한 크기와 할당 수에서 표준 시스템 할당기와의 성능 비교를 통해 마이크로벤치마크를 통해 기술적 검증을 수행한다.

실험 결과

연구 질문

• RQ1 루프 없이 런타임 메모리 오버헤드 없이 고정 크기 메모리 풀을 구현할 수 있는가?
• RQ2 루프 없고 오버헤드 없는 메모리 풀의 성능은 다양한 할당 크기에서 표준 시스템 할당기인 malloc과 비교해 어떻게 되는가?
• RQ3 사용되지 않는 메모리 슬롯을 북크립팅용으로 재사용하면 할당 속도와 캐시 효율성이 얼마나 향상되는가?
• RQ4 제안된 인덱싱 기반은 실시간 저지연 시스템에서 사용하기에 충분히 견고하고 결정론적인가?
• RQ5 정확성과 이식성 손실 없이도 하위 마이크로초 할당 및 해제 시간을 달성할 수 있는가?

주요 결과

• 제안된 메모리 풀은 할당 및 해제 시간이 100 納초 이하로, 시스템 할당기보다 현저히 빠르다.
• 다양한 할당 크기와 할당 수에서 마이크로벤치마크에서 malloc보다 최대 10배 빠른 성능을 보였다.
• 루프와 동적 메모리 오버헤드가 없어 풀 크기나 할당 빈도에 관계없이 예측 가능하고 상수 시간 성능을 유지한다.
• 사용되지 않는 메모리를 북크립팅용으로 사용함으로써 메모리 피드백이 감소하고 데이터 국소성이 향상되어 CPU 캐시 성능이 향상된다.
• 인덱싱 기반은 견고하고 정의되지 않은 동작 없이 안정적으로 실시간 생산 환경에서 사용 가능하다.
• 고도로 할당/해제 압력이 가해져도 정확성과 효율성을 유지하며 마이크로벤치마크에서 강력한 확장성을 입증했다.