[論文レビュー] Hardware Translation Coherence for Virtualized Systems

Zi Yan, Guilherme Cox+2 more|arXiv (Cornell University)|Jan 25, 2017

Parallel Computing and Optimization Techniques参考文献 12被引用数 6

ひとこと要約

本稿では、仮想化システムにおけるページ再マッピング時における翻訳構造（TLB、MMUキャッシュ、nTLB）を効率的に無効化するために、既存のキャッシュ一貫性プロトコルを活用するハードウェア翻訳一貫性メカニズムHATRICを提案する。最小限のハードウェアオーバーヘッドで正確かつ的確な無効化を可能にすることで、HATRICはKVMベースのシステムにおいて最大30％のパフォーマンス向上と10％のエネルギー削減を達成し、CPUあたり2％の面積コストで実現する。

ABSTRACT

To improve system performance, modern operating systems (OSes) often undertake activities that require modification of virtual-to-physical page translation mappings. For example, the OS may migrate data between physical frames to defragment memory and enable superpages. The OS may migrate pages of data between heterogeneous memory devices. We refer to all such activities as page remappings. Unfortunately, page remappings are expensive. We show that translation coherence is a major culprit and that systems employing virtualization are especially badly affected by their overheads. In response, we propose hardware translation invalidation and coherence or HATRIC, a readily implementable hardware mechanism to piggyback translation coherence atop existing cache coherence protocols. We perform detailed studies using KVM-based virtualization, showing that HATRIC achieves up to 30% performance and 10% energy benefits, for per-CPU area overheads of 2%. We also quantify HATRIC's benefits on systems running Xen and find up to 33% performance improvements.

研究の動機と目的

• 異種メモリを備えた仮想化システムにおいて、頻繁なページ再マッピングに起因する高いパフォーマンスおよびエネルギーオーバーヘッドを解消すること。
• 単一のページが再マッピングされても、ソフトウェアベースの翻訳一貫性では全構造のフラッシュを強制するという制限を克服すること。
• TLB、MMUキャッシュ、ネストドTLBの各構造において、影響を受ける翻訳エントリのみを的確に無効化できるハードウェアメカニズムを設計すること。
• 既存の仮想化拡張機能（例：Intel VT-x、AMD-V）との互換性を確保し、ゲストおよびネストドページテーブルの両方の更新をサポートすること。
• 生産ワークロードにおけるパフォーマンスおよびエネルギー効率を最大化する一方で、ハードウェアの複雑さと面積コストを最小限に抑えること。

提案手法

• キャッシュ一貫性メッセージのトラフィックに翻訳構造の無効化を乗せることで、既存のハードウェアキャッシュ一貫性プロトコルを拡張し、翻訳一貫性をサポートする。
• TLB、MMUキャッシュ、ネストドTLBを変更し、全フラッシュではなく、再マッピングされたページに対応するエントリのみを的確に無効化できるようにする。
• キャッシュラインと翻訳エントリの両方を追跡する二重粒度の一貫性ディレクトリを導入し、特定の翻訳をキャッシュしているCPUを効率的に特定できるようにする。
• システム物理アドレスからCPU識別子への逆引きマッピングを実現するリバースルックアップコンテンツアドレスラブルメモリ（CAM）を活用し、無効化の対象となるCPUのみを特定できるようにする。
• 軽量なターゲット側処理を設計し、CPUが作業を中断せずにエントリを素早く無効化し、確認応答を送信できるようにする。
• HATRICをKVMおよびXen仮想化スタックに統合し、代表的なメモリワークロードを用いて実世界のパフォーマンスおよびエネルギー効果を評価する。

実験結果

リサーチクエスチョン

• RQ1 頻繁なページ再マッピングを伴う仮想化システムにおいて、翻訳一貫性のオーバーヘッドがシステムパフォーマンスにどの程度影響を及えるか？
• RQ2 既存のキャッシュ一貫性プロトコルに翻訳一貫性を効率的に統合することで、全翻訳構造のフラッシュを回避できるか？
• RQ3 HATRICの的確な無効化処理は、ソフトウェアベースまたは粗粒度のハードウェア手法と比較して、パフォーマンスおよびエネルギー効率においてどの程度優れているか？
• RQ4 ページ移行に強く依存する異種メモリアーキテクチャを搭載したシステムにおいて、HATRICの影響は何か？
• RQ5 実際のワークロード下で、KVMおよびXenなどの異なるハイパーバイザーにおいてHATRICはどの程度スケーリングするか？

主な発見

• HATRICは、ソフトウェアベースの翻訳一貫性と比較して、KVMベースの仮想化システムにおいて最大30％のシステム実行時間を短縮し、最大10％のエネルギー消費量を削減する。
• この成果は、CPUあたりたった2％の面積オーバーヘッドで達成されており、生産環境への導入に非常に実用的である。
• Xenベースのシステムでは、最良のソフトウェアベースのページングポリシーと比較して、HATRICが最大33％のパフォーマンス向上を達成しており、仮想化プラットフォーム間での汎用性が確認された。
• UNITD++と比較して、HATRICはパフォーマンスで5～10％優れており、逆引きCAMの必要性を回避し、翻訳構造のリードエネルギーを削減することで、よりエネルギー効率が良い。
• 二重粒度の一貫性ディレクトリの活用により、キャッシュラインと翻訳エントリの両方を効率的に追跡でき、顕在的でない一貫性メッセージの発生を最小限に抑えつつ、顕著な面積コストの増加を回避できる。
• 積極的なディレクトリ更新と細粒度の追跡メカニズムは、わずかなパフォーマンス向上しか得られないが、エネルギー消費量を増加させる。これにより、HATRICのより単純な設計が最適であることが確認された。