[論文レビュー] Large-Scale Learning with Less RAM via Randomization

Daniel Golovin, D. Sculley+2 more|arXiv (Cornell University)|Mar 19, 2013

Advanced Bandit Algorithms Research参考文献 26被引用数 11

ひとこと要約

本稿では、大規模オンライン学習におけるメモリ使用量を削減するために、確率的ラウンドリングと確率的カウントを提案する。訓練中はRAM使用量を50%以上、予測時では最大95%まで削減でき、精度の損失は最小限に抑えられる。正確な手法に近いレグルグレートバウンドを達成するとともに、8ビットの確率的カウンタを用いて、低精度表現と座標毎の適応的学習率を効率的に実現する。

ABSTRACT

We reduce the memory footprint of popular large-scale online learning methods by projecting our weight vector onto a coarse discrete set using randomized rounding. Compared to standard 32-bit float encodings, this reduces RAM usage by more than 50% during training and by up to 95% when making predictions from a fixed model, with almost no loss in accuracy. We also show that randomized counting can be used to implement per-coordinate learning rates, improving model quality with little additional RAM. We prove these memory-saving methods achieve regret guarantees similar to their exact variants. Empirical evaluation confirms excellent performance, dominating standard approaches across memory versus accuracy tradeoffs.

研究の動機と目的

• 高次元の重みベクトルを有するモデルを対象として、大規模オンライン学習システムのメモリフットプリントを削減すること。
• 単一マシンやGPUを含む、RAMが限られた環境でも、効率的な訓練と推論を可能にすること。
• 重みの保存精度要件と座標毎の学習率追跡の精度要件を大幅に低くしつつ、モデルの精度を維持すること。
• 低精度・確率的学習アルゴリズムに対して理論的レグルグレート保証を提供すること。

提案手法

• 重みベクトルを粗い離散グリッドに射影するために確率的ラウンドリングを用い、32ビット浮動小数点の保存を16ビット以下に削減する。
• モーリスの確率的カウントアルゴリズムの変種を用いて、1特徴あたり8ビットで座標毎の学習率を表現する。
• 係数に対して固定または適応的粗いグリッド表現を適用し、このスキーム下での理論的レグルグレートバウンドを導出する。
• 予測時における可変幅エンコーディングを導入し、実験では1係数あたり2ビット未満の保存量を達成する。
• 誤差の蓄積を最小限に抑えるために、不偏な確率的ラウンドリングを用い、期待値の保存を保証する。
• 集中不等式（例：アズマ＝フーディング）を用いて、ラウンドングによる予測誤差の上限を定める。

実験結果

リサーチクエスチョン

• RQ1 高次元の重みベクトルを粗く離散的な表現にすることで、オンライン学習におけるメモリ使用量を削減できるか、精度の損失は顕著でないか？
• RQ2 確率的ラウンドングは、オンライン勾配降下アルゴリズムのレグルグレート保証にどのような影響を与えるか？
• RQ3 8ビットの確率的カウンタが、1座標毎の学習率に32ビット整数のカウンタを代替して効果的に機能するか？
• RQ4 推論時における可変幅エンコーディングを用いる場合、メモリ節約と予測精度のトレードオフはどのようなものか？
• RQ5 適応的粗い重み表現は、最小限のメモリオーバーヘッドでノーレグルグレート学習を達成できるか？

主な発見

• 16ビットの固定小数点表現を用いることで、訓練中はRAM使用量を50%以上削減でき、わずかな線形レグルグレート項の追加にとどまる。
• 座標毎の学習率に8ビットの確率的カウンタを採用することで、32ビット整数と比較してメモリコストを75%削減でき、精度の損失は無視できるほど小さい。
• 重みの適応的粗い表現は、さらなるメモリ削減を実現し、ノーレグルグレート学習性能を維持する。
• 予測時における可変幅エンコーディングにより、実験では1係数あたり2ビット未満の保存量にまで削減され、追加誤差は最小限に抑えられる。
• 理論的分析から、確率的ラウンドングおよびカウンティングスキームのレグルグレートバウンドは、正確な対応手法に比べてわずかに劣るにとどまる。
• 実験的結果から、提案手法が、特に大規模な設定において、標準的手法に比べてメモリ-精度トレードオフの点で優位であることが確認された。