[论文解读] Fast Efficient Fixed-Size Memory Pool: No Loops and No Overhead

Benjamin Kenwright|arXiv (Cornell University)|Oct 29, 2022

Artificial Intelligence in Games参考文献 12被引用 3

一句话总结

本文提出了一种高性能的固定大小内存池分配器，通过重新利用未使用的内存槽进行簿记并采用确定性索引方案，消除了循环和内存开销。该分配器实现了亚微秒级的分配/释放时间，在基准测试中比 malloc 等系统分配器快达 10 倍，适用于游戏引擎等实时系统。

ABSTRACT

In this paper, we examine a ready-to-use, robust, and computationally fast fixed-size memory pool manager with no-loops and no-memory overhead that is highly suited towards time-critical systems such as games. The algorithm achieves this by exploiting the unused memory slots for bookkeeping in combination with a trouble-free indexing scheme. We explain how it works in amalgamation with straightforward step-by-step examples. Furthermore, we compare just how much faster the memory pool manager is when compared with a system allocator (e.g., malloc) over a range of allocations and sizes.

研究动机与目标

• 设计一种内存池分配器，以消除时间关键型应用中的运行时循环和内存开销。
• 通过最小化簿记开销，在固定大小内存池中实现常数时间的分配和释放。
• 为游戏引擎等实时系统优化性能，这些系统对确定性的低延迟内存操作至关重要。
• 在各种分配大小下，展示相对于标准系统分配器（如 malloc）的显著速度提升。
• 提供一种稳健、可投入生产的实现，具备简单明了、可验证的逻辑与索引机制。

提出的方法

• 该分配器利用每个池块内的未使用内存槽存储簿记元数据，消除了对单独自由链表指针存储的需求。
• 采用基于指针算术和对齐的确定性索引方案，直接将分配映射到内存位置，无需循环。
• 空闲块通过存储在块自身内存空间中的指针链接，避免了堆或栈的开销。
• 该设计确保在分配/释放过程中不进行动态内存分配，从而实现 O(1) 的常数时间操作。
• 该算法通过最小化分支和采用缓存友好的内存访问模式实现，以最大化 CPU 效率。
• 通过微基准测试对性能进行了验证，对比了多种分配大小和分配次数下与标准系统分配器的性能表现。

实验结果

研究问题

• RQ1 能否在无循环或运行时内存开销的情况下实现固定大小内存池？
• RQ2 无循环、无开销的内存池在各种分配大小下与 malloc 等系统分配器相比性能如何？
• RQ3 将未使用内存槽重新用于簿记在多大程度上能提升分配速度和缓存效率？
• RQ4 所提出的索引方案是否足够稳健和确定性，足以用于实时、低延迟系统？
• RQ5 该设计能否在不牺牲正确性或可移植性的前提下实现亚微秒级的分配和释放时间？

主要发现

• 所提出的内存池实现了低于 100 纳秒的分配和释放时间，显著快于系统分配器。
• 在微基准测试中，该实现的性能在多种分配大小和数量下比 malloc 最快高出 10 倍。
• 由于无循环和无动态内存开销，性能表现稳定且为常数时间，与池大小或分配频率无关。
• 利用未使用内存进行簿记减少了内存占用并提升了数据局部性，从而增强了 CPU 缓存性能。
• 索引方案稳健且无未定义行为，可确保在生产级实时系统中可靠使用。
• 该算法在高分配/释放压力下仍保持正确性和高效性，在微基准测试中表现出强大的可扩展性。