[論文レビュー] An Imitation Learning Approach for Cache Replacement

Evan Liu, Milad Hashemi+3 more|arXiv (Cornell University)|Jun 29, 2020

Data Stream Mining Techniques被引用数 5

ひとこと要約

本論文では、過去のアクセスパターンのみを用いてベラジの最適オラクルポリシーを模倣するキャッシュリプレースメントポリシーを学習する、インスティチューションラーニング手法Parrotを提案する。教師付きインスティチューションラーニングを用い、ニューラルネットワークで学習することで、SPEC CPUワークロードでは最先端のヒューリスティックよりも20%低いミス率を達成し、大規模なウェブ検索ベンチマークでは従来のLRUよりも61%高いキャッシュヒット率を達成し、LRUのような伝統的なポリシーに比べて顕著な性能向上を示した。

ABSTRACT

Program execution speed critically depends on increasing cache hits, as cache hits are orders of magnitude faster than misses. To increase cache hits, we focus on the problem of cache replacement: choosing which cache line to evict upon inserting a new line. This is challenging because it requires planning far ahead and currently there is no known practical solution. As a result, current replacement policies typically resort to heuristics designed for specific common access patterns, which fail on more diverse and complex access patterns. In contrast, we propose an imitation learning approach to automatically learn cache access patterns by leveraging Belady's, an oracle policy that computes the optimal eviction decision given the future cache accesses. While directly applying Belady's is infeasible since the future is unknown, we train a policy conditioned only on past accesses that accurately approximates Belady's even on diverse and complex access patterns, and call this approach Parrot. When evaluated on 13 of the most memory-intensive SPEC applications, Parrot increases cache miss rates by 20% over the current state of the art. In addition, on a large-scale web search benchmark, Parrot increases cache hit rates by 61% over a conventional LRU policy. We release a Gym environment to facilitate research in this area, as data is plentiful, and further advancements can have significant real-world impact.

研究の動機と目的

• 多様で複雑なメモリアクセスパターンにおいて、従来のヒューリスティック（例：LRU）が失敗するような状況における効果的なキャッシュリプレースメントポリシーの設計という課題に対処すること。
• 将来のアクセス知識を必要とするベラジの最適リプレースメントポリシーを、未来の情報にアクセスできない状況でも近似できるポリシーを学習することができるかを検討すること。
• 既存のヒューリスティックベースのアプローチを上回る、汎用的でエンドツーエンドの学習済みリプレースメントポリシーを構築すること。
• キャッシュリプレースメント分野における再現可能で促進的な研究を可能にするために、Gym環境を公開すること。

提案手法

• キャッシュリプレースメントを、モデルが過去のアクセスシーケンスのみを入力として用いてベラジの最適ポリシーを模倣するインスティチューションラーニング問題として定式化する。
• 深層ニューラルネットワークを用い、履歴アクセスパターンに基づいて最適なエビクト意思決定を予測することで、未来の知識を一切必要としない。
• トレーニング中に完全な将来のアクセストレースを用いて計算されるベラジのアルゴリズムのデモンストレーションを用いた教師付き学習を採用する。
• 実世界のワークロード、特にSPEC CPUベンチマークと大規模なウェブ検索トレース上で、エンドツーエンドでモデルを学習する。
• 標準的なインスティチューションラーニングを超えて、一般化性能を向上させるために追加の教師付きタスクを導入する。
• 階層型キャッシュをサポートするようにフレームワークを拡張し、広く研究利用可能なGym環境として公開する。

実験結果

リサーチクエスチョン

• RQ1 過去のアクセス情報のみを用いて、インスティチューションラーニングアプローチがベラジの最適キャッシュリプレースメントポリシーを効果的に近似できるか。
• RQ2 学習済みポリシーが、ヒューリスティックベースのポリシーに比べて、多様で複雑なメモリアクセスパターンに優れた一般化性能を示せるか。
• RQ3 エンドツーエンドのインスティチューションラーニングは、キャッシュラインを「キャッシュフレンドリー」か「キャッシュアーザー」かを分類するような従来の二値分類アプローチと比べて、どのように性能を発揮するか。
• RQ4 実世界のワークロード（例：SPEC CPUアプリケーションやウェブ検索システム）において、どのような性能向上が達成できるか。
• RQ5 学習済みリプレースメントポリシーの実用的導入課題（例：レイテンシやメモリオーバーヘッド）をどのように軽減できるか。

主な発見

• Parrotは、13のメモリ集約的SPEC CPUアプリケーションにおいて、現在の最先端のリプレースメントポリシーと比較して20%低いミス率を達成した。
• 大規模なウェブ検索ベンチマークでは、従来のLRUポリシーと比較して、Parrotは61%高いキャッシュヒット率を達成した。
• 提案されたインスティチューションラーニングフレームワークにより、未来データにアクセスできない状況でも、ベラジの最適動作を近似可能なポリシーが実現された。従来の方法に比べ、中間のヒューリスティックに依存しない。
• アブレーションスタディにより、異なるアクセスパターンを持つ多様なプログラムにおいても、本手法が良好な一般化性能を示すことが確認された。
• キャッシュリプレースメント用のGym環境の公開により、再現可能な研究が可能となり、階層型キャッシュや強化学習分野における今後の研究を支援する。
• 結果から、エンドツーエンドのインスティチューションラーニングは、実世界に顕著な影響を与える有効なキャッシュリプレースメントポリシーを学習するための有望な道筋であると考えられる。