[論文レビュー] Fast Efficient Fixed-Size Memory Pool: No Loops and No Overhead

Benjamin Kenwright|arXiv (Cornell University)|Oct 29, 2022

Artificial Intelligence in Games参考文献 12被引用数 3

ひとこと要約

この論文は、余分なメモリのブックキーピングに使われないメモリ領域を再利用し、決定論的なインデックス方式を採用することで、ループとメモリのオーバーヘッドを排除した、固定サイズのメモリプールアロケータを提示している。このアーキテクチャにより、1マイクロ秒未塔のアロケーション/デアロケーション時間が達成され、ベンチマークテストではmallocのようなシステムアロケータを最大10倍速く、リアルタイムシステム（例：ゲームエンジン）に最適な性能を発揮する。

ABSTRACT

In this paper, we examine a ready-to-use, robust, and computationally fast fixed-size memory pool manager with no-loops and no-memory overhead that is highly suited towards time-critical systems such as games. The algorithm achieves this by exploiting the unused memory slots for bookkeeping in combination with a trouble-free indexing scheme. We explain how it works in amalgamation with straightforward step-by-step examples. Furthermore, we compare just how much faster the memory pool manager is when compared with a system allocator (e.g., malloc) over a range of allocations and sizes.

研究の動機と目的

• 時間的に制限のあるアプリケーション向けに、実行時ループやメモリオーバーヘッドを排除したメモリプールアロケータの設計を目的とする。
• 最小限のブックキーピングで、固定サイズのメモリプールにおいて定数時間のアロケーションおよびデアロケーションを可能にする。
• アロケーションの決定論的で低レイテンシな動作が不可欠なリアルタイムシステム（例：ゲームエンジン）におけるパフォーマンス最適化を目的とする。
• さまざまなアロケーションサイズにおいて、標準のシステムアロケータ（例：malloc）と比較して顕著な速度向上を示すことを目的とする。
• 論理的で単純かつ検証可能な設計とインデキシング方式を備えた、生産環境で使用可能な堅牢な実装を提供することを目的とする。

提案手法

• アロケータは、各プールブロック内の未使用メモリ領域をブックキーピングメタデータの格納に再利用し、別途の自由リストポインタのストレージを不要にする。
• ポインタ演算とアライメントに基づく決定論的なインデキシング方式を採用することで、ループを用いずにアロケーションを直接メモリ位置にマッピングする。
• 自由ブロックは、ブロック自体のメモリ領域に格納されたポインタによってリンクされ、ヒープやスタックのオーバーヘッドを回避する。
• 設計上、アロケーション/デアロケーション中に動的メモリ割り当てが発生しないため、O(1)の定数時間オペレーションが保証される。
• 最小限の分岐とキャッシュフレンドリーなメモリアクセスパターンを採用することで、CPU効率を最大化する。
• 複数のアロケーションサイズと回数で、標準のシステムアロケータと比較したマイクロベンチマークを通じて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ループや実行時メモリオーバーヘッドなしに、固定サイズのメモリプールを実装できるか？
• RQ2 ループフリーでオーバーヘッドのないメモリプールは、さまざまなアロケーションサイズにおいて、mallocのようなシステムアロケータと比較してどの程度の性能を示すか？
• RQ3 未使用メモリ領域をブックキーピングに再利用することで、アロケーション速度とキャッシュ効率はどの程度向上するか？
• RQ4 提案されたインデキシング方式は、リアルタイムで低レイテンシを要するシステムで使用するに十分な堅牢性と決定論的性質を備えているか？
• RQ5 正しさやポータビリティを損なわず、1マイクロ秒未塔のアロケーションおよびデアロケーション時間を達成できるか？

主な発見

• 提案されたメモリプールは、100ナノ秒未塔のアロケーションおよびデアロケーション時間を達成し、システムアロケータを著しく上回る。
• マイクロベンチマークにおいて、さまざまなアロケーションサイズと回数で、mallocを最大10倍速く実行した。
• ループや動的メモリオーバーヘッドが存在しないため、プールサイズやアロケーション頻度にかかわらず、予測可能で定数時間のパフォーマンスが保証される。
• 未使用メモリをブックキーピングに再利用することで、メモリフットプリントが削減され、データローカリティが向上し、CPUキャッシュパフォーマンスが向上する。
• インデキシング方式は堅牢で、未定義動作を含まないため、生産環境向けのリアルタイムシステムでも信頼性高く使用可能である。
• 高いアロケーション/デアロケーション負荷下でも正しさと効率を維持でき、マイクロベンチマークにおいて優れたスケーラビリティを示した。