[論文レビュー] Adaptive Dense-to-Sparse Paradigm for Pruning Online Recommendation System with Non-Stationary Data

Mao Ye, Dhruv Choudhary+7 more|arXiv (Cornell University)|Oct 16, 2020

Recommender Systems and Techniques参考文献 59被引用数 6

ひとこと要約

本稿では、非定常なデータに直面するオンラインレコメンデーションシステム向けに、新しいDense-to-Sparse（D2S）パラダイムと、適応的プルーニングアルゴリズム（AUX）を提案する。密度の高いモデルを継続的適応用に維持し、勾配およびマグニチュードに配慮したプルーニング戦略を用いることで、分布シフトの際の精度損失を低減するとともに、最小限の手動チューニングで効率的かつオンデマンドにスパースモデルを生成できる。

ABSTRACT

Large scale deep learning provides a tremendous opportunity to improve the quality of content recommendation systems by employing both wider and deeper models, but this comes at great infrastructural cost and carbon footprint in modern data centers. Pruning is an effective technique that reduces both memory and compute demand for model inference. However, pruning for online recommendation systems is challenging due to the continuous data distribution shift (a.k.a non-stationary data). Although incremental training on the full model is able to adapt to the non-stationary data, directly applying it on the pruned model leads to accuracy loss. This is because the sparsity pattern after pruning requires adjustment to learn new patterns. To the best of our knowledge, this is the first work to provide in-depth analysis and discussion of applying pruning to online recommendation systems with non-stationary data distribution. Overall, this work makes the following contributions: 1) We present an adaptive dense to sparse paradigm equipped with a novel pruning algorithm for pruning a large scale recommendation system with non-stationary data distribution; 2) We design the pruning algorithm to automatically learn the sparsity across layers to avoid repeating hand-tuning, which is critical for pruning the heterogeneous architectures of recommendation systems trained with non-stationary data.

研究の動機と目的

• 非定常なデータ分布シフト下でもモデルの精度を維持する課題に対処すること。
• レコメンデーションモデルの非均質なアーキテクチャを踏まえ、手動チューニングなしで各層の最適なスパarsityを自動的に学習できるプルーニング手法を設計すること。
• データ分布シフトに対しても性能を維持する、効率的かつオンデマンドで生成可能なスパースモデルを可能にすること。
• 標準的なプルーニングの限界を克服すること、特に、固定されたスパarsityパターンを持つため、プルーニング後のモデルがインクリメンタルトレーニングにおいて適応できない点。

提案手法

• データ分布シフトに継続的に適応できるよう、完全な密度モデルを維持するDense-to-Sparse（D2S）トレーニングパラダイムを提案する。
• 重みの重要度をより正確に評価するために、マグニチュードベースのプルーニングとテイラー近似を組み合わせたAUXプルーニングアルゴリズムを導入する。
• 全体のスパarsityを制御する正則化項（λ）を用い、異なるデータ範囲やモデルサイズにおいて一貫したスパarsity比を実現する。
• 密度モデルとスパースモデルの間の精度の乖離を動的にモニタリングし、必要に応じて再プルーニングをトリガーするメカニズムを採用する。
• 全結合層に対して非構造的プルーニングを適用し、FLOPsとメモリフットプリントを顕著に削減しながら、モデル性能を保持する。
• 密度モデルを参照として、スパarsity適応プロセスの検証とガイドに活用することで、分布シフト下でも耐障害性を確保する。

実験結果

リサーチクエスチョン

• RQ1 非定常なデータを伴うオンラインレコメンデーションシステムに、モデル精度を劣化させることなくプルーニングを効果的に適用する方法は何か？
• RQ2 非均質なレコメンデーションアーキテクチャにおいて、自動的かつ層別に最適なスパarsityを学習できるプルーニング戦略は何か？
• RQ3 データシフト下でも、安定した参照としての密度モデルを用いて、動的かつオンデマンドでスパースモデルを生成できるか？
• RQ4 マグニチュードと勾配に基づく重要度測定を組み合わせることで、マグニチュードのみの手法に比べてプルーニング性能がどのように向上するか？
• RQ5 正則化強度（λ）の影響は、学習されたスパarsityパターンの整合性と性能にどのような影響を与えるか？

主な発見

• 提案されたAUXプルーニングアルゴリズムは、標準的なマグニチュードベースのプルーニング（MP）や他のベースラインと比較して、特にデータ分布シフト下で顕著な精度損失の低減を達成する。
• D2Sパラダイムにより、密度参照モデルを介した継続的適応のおかげで、スパースモデルが密度モデルと同等の性能を維持できる。
• 層ごとのスパarsityは、層の深さやサイズと相関しないことが確認され、ヒューリスティックなルールではなく、適応的かつ学習されたスパarsityの必要性が裏付けられた。
• 同じλ値を用いることで、異なるデータセグメントやモデルサイズにおいて一貫したスパarsity比が達成され、チューニングの負荷が低減された。
• 重みの重要度スコアリングにテイラー近似を用いることで、特に中程度のマグニチュードを持つ重みに対してより良いプルーニング意思決定が可能になり、全体のモデルの耐障害性が向上した。
• 密度モデルとスパースモデル間の精度乖離を動的にモニタリングすることで、長期的な運用下でも性能を維持するための適時な再プルーニングが可能になった。