[論文レビュー] Nova: Safe Off-Heap Memory Allocation and Reclamation

Brown, Trevor|arXiv (Cornell University)|Dec 4, 2017

Distributed systems and fault tolerance被引用数 2

ひとこと要約

本論文は、ロックフリーデータ構造向けに、同期のオーバーヘッドを低減し、クラッシュしたプロセスによるメモリリークを防止する分散エポックベースのメモリ再利用スキームであるDEBRAを提案する。シグナリングプリミティブと新規のニュートラライゼーション技術を用いることで、DEBRA+は故障耐性のある再利用を実現し、操作あたりの償却コストがO(1)で、DEBRAに比べて最大94%低いメモリ使用量を達成。平均してハザードポインターより70%優れた性能を発揮する。

ABSTRACT

In recent years, we begin to see Java-based systems embrace off-heap allocation for their big data demands. As of today, these system rely on simple ad-hoc garbage-collection solutions, which restrict the usage of off-heap data. This paper introduces the abstraction of safe off-heap memory allocation and reclamation (SOMAR), a thread-safe memory allocation and reclamation scheme for off-heap data in otherwise managed environments. SOMAR allows multi-threaded Java programs to use off-heap memory seamlessly. To realize this abstraction, we present Nova, Novel Off-heap Versioned Allocator, a lock-free SOMAR implementation. Our experiments show that Nova can be used to store off-heap data in Java data structures with better performance than ones managed by Java’s automatic GC. We further integrate Nova into the open-source Oak concurrent map library, which allows Oak to reclaim keys while the data structure is being accessed.

研究の動機と目的

• ロックフリーデータ構造における安全なメモリ再利用という重要な課題に取り組む。伝統的な手法（ハザードポインター、エポックベース再利用（EBR））は、高いオーバーヘッドや故障耐性の欠如を抱える。
• エポックベース再利用において、クラッシュしたまたは遅延するプロセスが原因で発生するメモリリークのリスクを排除する。これは、すべてのメモリ再利用が無期限にブロッキングされるのを防ぐ。
• メモリ再利用の論理をデータ構造の実装から分離するモジュラーかつ合成可能な抽象化（「レコードマネージャー」として呼ばれる）を設計し、最小限のパフォーマンスコストで実現する。
• 多様なワークロードとスレッド数において、特に高コントェンション状態およびNUMAアーキテクチャ下でも、高いパフォーマンスとスケーラビリティを達成する。

提案手法

• Linuxのfutexなど、システムシグナリング（例：futexes）を用いて、プロセス間でエポックの進捗を調整する分散版のエポックベース再利用（EBR）であるDEBRAを提案する。
• プロセスがコンテキストスイッチアウトされた際に、それらを効果的に「ニュートラライズ」できるメカニズムを導入することで、一部のプロセスが非アクティブであっても、継続的なメモリ再利用が可能になる。
• 割り当て、解放、再利用戦略をランタイムで置き換え可能な「レコードマネージャー」抽象化を採用。1行のコード変更で異なる戦略に切り替えられ、モジュラリティとパフォーマンスのポータビリティが向上する。
• エポックカウンタの数を限定し、各プロセスごとのエポック追跡を用いることで、リタイア済みオブジェクトが、アクセス可能なアクティブなプロセスが存在しない場合にのみ再利用されるように保証する。
• 2段階の再利用プロトコルを適用する。第一段階では、オブジェクトがリタイアされ、再利用の対象としてマークされる。第二段階では、すべてのプロセスが安全なエポック境界を通過した後にのみ、オブジェクトが解放される。
• 一部の実験では、システムコールのオーバーヘッドを低減するためのプーリング戦略を採用。これにより、動的メモリ割り当てが行われても、スケームの効率性が保たれることを示している。

実験結果

リサーチクエスチョン

• RQ1 クラッシュしたまたは停止したプロセスが存在する状況下でも、エポックベース再利用を故障耐性にできるか？ その際、過度な同期のオーバーヘッドを伴わないか？
• RQ2 プロセス数が多いシステムにおいて、再利用待ちのオブジェクト数を制限することで、エポックベース再利用のメモリオーバーヘッドを低減できるか？
• RQ3 メモリ再利用をデータ構造の論理から分離することで、モジュラリティを向上させ、異なる再利用戦略の簡単な比較を可能にする方法は何か？
• RQ4 新しい再利用スキームは、さまざまなワークロード、スレッド数、コントェンションレベルにおいて、どの程度のパフォーマンスオーバーヘッドを伴うか？
• RQ5 シグナリングベースのアプローチは、実世界のロックフリーデータ構造において、従来のハザードポインターおよび他の非自動再利用手法を凌駆できるか？

主な発見

• DEBRA+は、プロセスのクラッシュ後も再利用を継続可能にすることで、DEBRAに比べて平均94%低いメモリ使用量を達成。リタイア済みオブジェクトがO(mn²)個待機している状況で、nはプロセス数、mは小さな定数。
• DEBRA+は、高度に最適化されたハザードポインタ実装を、すべてのワークロードとスレッド数において平均70%上回る性能を発揮する。
• レコードマネージャー抽象化により、1行のコード変更で異なる割り当て、プール、再利用戦略に切り替え可能で、パフォーマンスオーバーヘッドはほとんどない。
• バランス型二分探索木を用いた実験では、再利用なしの状態と比較して、DEBRA+の平均オーバーヘッドは10%にとどまり、一部のケースでは最大20%のパフォーマンス向上を達成。
• 16コア、64のハードウェアコンテキストを持つシステムでは、DEBRA+が1試行あたり平均935回のプロセスニュートラライゼーションを実行し、ピークメモリ使用量を顕著に削減。
• 本スキームは、ハイレベル操作あたりO(1)の償却コスト、オブジェクトリタイアあたりO(1)の最悪ケースコストを達成しており、生産環境での利用に非常に効率的である。