[論文レビュー] A Sparse Deep Factorization Machine for Efficient CTR prediction

Wei Deng, Junwei Pan+3 more|arXiv (Cornell University)|Feb 17, 2020

Image and Video Quality Assessment参考文献 30被引用数 3

ひとこと要約

本稿では、情報のある特徴相互作用を明示的に探索し、不要なDNN層やパラメータをプルーニングし、埋め込みのスパarsityを促進することで、CTR予測を高速化するスパースなディープファクタリゼーションマシン、DeepLightを提案する。CriteoおよびAvazuデータセットにおいて、それぞれ46Xおよび27Xの高速化を達成し、精度に損なわれることなく、生産環境の広告配信システムにおける複雑なモデルの効率的デプロイを可能にする。

ABSTRACT

Click-through rate (CTR) prediction is a crucial task in online display advertising. The embedding-based neural networks have been proposed to learn both explicit feature interactions through a shallow component and deep feature interactions using a deep neural network (DNN) component. These sophisticated models, however, slow down the prediction inference by at least hundreds of times. To address the issue of significantly increased serving delay and high memory usage for ad serving in production, this paper presents \emph{DeepLight}: a framework to accelerate the CTR predictions in three aspects: 1) accelerate the model inference via explicitly searching informative feature interactions in the shallow component; 2) prune redundant layers and parameters at intra-layer and inter-layer level in the DNN component; 3) promote the sparsity of the embedding layer to preserve the most discriminant signals. By combining the above efforts, the proposed approach accelerates the model inference by 46X on Criteo dataset and 27X on Avazu dataset without any loss on the prediction accuracy. This paves the way for successfully deploying complicated embedding-based neural networks in production for ad serving.

研究の動機と目的

• オンライン広告配信における埋め込みベースのニューラルネットワークの高い推論遅延とメモリ使用量を解消すること。
• 複雑なモデルによるサービス遅延を精度を損なわず低減すること。
• 推論効率の最適化を通じて、生産環境におけるディープラーニングモデルのデプロイを可能にすること。
• 浅い部品および深い部品の両方における構造的スパarsityとプルーニングを通じて、モデルの表現力と効率性のバランスを取ること。

提案手法

• 浅い部品において、情報のある特徴相互作用を明示的に探索することで、余分な計算を削減する。
• DNN部品における冗長なニューロンおよびパラメータを削除するために、イントラレイヤーおよびインタラレイヤープルーニングを適用する。
• 埋め込み層にスパarsity正則化を導入し、最も識別的な信号のみを保持する。
• スパースな特徴相互作用学習、構造的プルーニング、埋め込みスパarsityを統合して推論を高速化する。
• 予測性能に影響を与えないように、モデル部品全体にわたるスパarsityとプルーニングを統合したフレームワークを設計する。

実験結果

リサーチクエスチョン

• RQ1 情報のある特徴相互作用を明示的に探索することで、推論コストを削減しつつ予測精度を損なわないか？
• RQ2 イントラレイヤーおよびインタラレイヤープルーニングは、CTRモデルにおけるDNN推論をどの程度高速化できるか？
• RQ3 埋め込み層におけるスパarsity正則化は、メモリ使用量を削減しつつも、識別的信号を効果的に保持できるか？
• RQ4 スパarsity、プルーニング、および効率的な特徴相互作用学習の組み合わせにより、実世界のCTR予測で顕著な高速化が達成できるか？

主な発見

• DeepLightは、ベースラインモデルと比較してCriteoデータセットで推論を46X高速化した。
• フレームワークは、Avazuデータセットでも同じ予測精度を維持しながら、27Xの推論速度向上を達成した。
• 提案されたスパarsityおよびプルーニング技術は、モデルの性能を保持しつつ、計算およびメモリのオーバーヘッドを著しく削減した。
• スパースな特徴相互作用学習、構造的プルーニング、埋め込みスパarsityの統合により、生産環境における複雑なモデルの効率的デプロイが可能になった。