[論文レビュー] Bandana: Using Non-volatile Memory for Storing Deep Learning Models

Assaf Eisenman, Maxim Naumov+6 more|arXiv (Cornell University)|Nov 14, 2018

Caching and Content Delivery参考文献 20被引用数 41

ひとこと要約

Bandana は小さな DRAM キャッシュを備えた非揮発性メモリ（NVM）を使用して推奨システムの埋め込みを格納し、ハイパーグラフベースの分割とミニチュアキャッシュのシミュレーションを用いて NVM 読み取り帯域幅を 2–3× 向上させる。

ABSTRACT

Typical large-scale recommender systems use deep learning models that are stored on a large amount of DRAM. These models often rely on embeddings, which consume most of the required memory. We present Bandana, a storage system that reduces the DRAM footprint of embeddings, by using Non-volatile Memory (NVM) as the primary storage medium, with a small amount of DRAM as cache. The main challenge in storing embeddings on NVM is its limited read bandwidth compared to DRAM. Bandana uses two primary techniques to address this limitation: first, it stores embedding vectors that are likely to be read together in the same physical location, using hypergraph partitioning, and second, it decides the number of embedding vectors to cache in DRAM by simulating dozens of small caches. These techniques allow Bandana to increase the effective read bandwidth of NVM by 2-3x and thereby significantly reduce the total cost of ownership.

研究の動機と目的

• 大規模な推薦システムにおける埋め込みテーブルの DRAM 使用量を削減する。
• 埋め込みの主要ストレージとして NVM を検討し、総所有コスト（TCO）を低減する。
• データとキャッシュを賢く組織し、実効的な NVM 読み取り帯域幅を向上させる。
• 実用的なパフォーマンス向上を測定するために、分割とキャッシュ戦略を評価する。

提案手法

• 埋め込みリードのための NVM 読み取り帯域幅特性とブロック粒度（4 KB）を評価する。
• 2 つの埋め込みベクタ分割戦略を適用する：監視付き SHP ハイパーグラフ分割と非監視の K-means クラスタリング。
• プレフェッチ後にどのベクターをキャッシュするかを決定するため、テーブルごとの閾値 t を用いたLRUベースのキャッシュを使用する。
• 複数のキャッシュ閾値をシミュレートするミニチュアキャッシュを導入し、リアルタイムで最適なものを選択する。
• プレフェッチされたベクターを受け入れ、追い出し影響を管理するシャドウキャッシュを組み込む。）

実験結果

リサーチクエスチョン

• RQ1 NVM はリアルタイム推奨ワークロードにおいて、遅延とスループットが許容できる大規模な埋め込みテーブルを格納できるか？
• RQ2 埋め込みベクターをどのようにパーティショニングすれば共アクセス性を最大化し、NVM帯域幅を最大化できるか？
• RQ3 埋め込みのNVMからの実効帯域幅を増加させる最良のキャッシングおよび受け入れ制御戦略は何か？
• RQ4 ミニチュアキャッシュのシミュレーションは、テーブルごとのキャッシュ閾値を信頼性高く設定して性能を最適化できるか？

主な発見

• Bandana は、素朴な DRAM 代替と比較して、およそ 2–3× の実効的な NVM 読み取り帯域幅を増加させる。
• Hypergraph-based supervised partitioning (SHP) は、研究対象ワークロードで一般的に非監視の K-means より高い帯域幅の増加をもたらす。
• Prefetch-driven caching は慎重な管理を要する。すべてのプレフェッチされたベクターの素朴なキャッシュは、追い出しによって性能を悪化させる可能性がある。
• Miniature caches は低オーバーヘッドでほぼ理想的な閾値選択を可能にし、帯域幅の向上をオラクル方針に近いレベルで達成する。
• Bandana の有効性はアクセスパターンに依存して埋め込みテーブルごとに異なる。いくつかのテーブルは大きな帯域幅向上を示すが、他はそれほどではない。
• SHP を無制限の DRAM キャッシュと組み合わせると、埋め込みの主要保存メディアとしての NVM の可能性が示される。