[論文レビュー] DeepLight: Deep Lightweight Feature Interactions for Accelerating CTR Predictions in Ad Serving

Wei Deng, Junwei Pan+4 more|arXiv (Cornell University)|Feb 17, 2020

Recommender Systems and Techniques参考文献 59被引用数 4

ひとこと要約

DeepLightは、リアルタイム広告配信におけるクリックストラックレート（CTR）予測の高速化を目的とした、軽量でプルーニングされたニューラルネットワークフレームワークを提案する。深層ニューラルネットワーク層の構造的プルーニング、スパースな埋め込みベクトル、および特徴相互作用のためのフィールド重み付き行列を統合的に最適化することで、Criteoでは46倍、Avazuでは27倍の高速化を達成し、精度に損失が生じない。これにより、生産環境における複雑なモデルの効率的導入が可能になる。

ABSTRACT

Click-through rate (CTR) prediction is a crucial task in online display advertising. The embedding-based neural networks have been proposed to learn both explicit feature interactions through a shallow component and deep feature interactions using a deep neural network (DNN) component. These sophisticated models, however, slow down the prediction inference by at least hundreds of times. To address the issue of significantly increased serving delay and high memory usage for ad serving in production, this paper presents \emph{DeepLight}: a framework to accelerate the CTR predictions in three aspects: 1) accelerate the model inference via explicitly searching informative feature interactions in the shallow component; 2) prune redundant layers and parameters at intra-layer and inter-layer level in the DNN component; 3) promote the sparsity of the embedding layer to preserve the most discriminant signals. By combining the above efforts, the proposed approach accelerates the model inference by 46X on Criteo dataset and 27X on Avazu dataset without any loss on the prediction accuracy. This paves the way for successfully deploying complicated embedding-based neural networks in production for ad serving.

研究の動機と目的

• リアルタイム広告配信システムにおける、深層埋め込みベースのCTRモデルの高い推論遅延とメモリオーバーヘッドに対処すること。
• 生産環境におけるモデルの精度と推論効率のトレードオフを克服すること。
• 最新の予測性能を維持しつつ、高速で低メモリな推論を実現するフレームワークを開発すること。
• 厳密な遅延およびリソース制約がある大規模オンライン広告システムにおいて、複雑なディープラーニングモデルの実用的導入を可能にすること。

提案手法

• 特徴相互作用モデリングのためのスパース構造を持つフィールド重み付き行列を備えた、埋め込みベースのニューラルネットワーク「DeepFwFM」を導入する。
• 深層ニューラルネットワーク（DNN）部における層間レベルでの構造的プルーニングを適用し、不要なパラメータを削除しながら性能を維持する。
• 密度型埋め込みベクトルをスパース表現にプルーニングすることで、メモリ使用量を著しく削減し、推論速度を向上させる。
• モデル圧縮中に精度を保持するため、プリコンディショナーベースの最適化戦略を用いてプルーニングを誘導する。
• DNN層のプルーニング、フィールド行列のスパarsity、埋め込みベクトルのスパース化という複数のプルーニング戦略を統合したフレームワーク「DeepLight」を構築する。
• フィールド重み付き行列構造が内在するスパarsityを活用し、性能劣化を伴わずに高い圧縮率を実現する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワーク層および埋め込みベクトルの構造的プルーニングにより、精度を損なわずCTR予測を高速化できるか？
• RQ2 フィールド重み付き行列は、効率的な推論を実現する上で、高い性能と高いスパarsityを両立できるか？
• RQ3 実世界の広告配信システムにおいて、モデル圧縮（遅延、メモリ）と予測精度の最適なトレードオフは何か？
• RQ4 DNN、フィールド行列、埋め込み部の各コンponentにわたる統合的プルーニング戦略は、個別にプルーニングを行う場合に比べ、優れた高速化を達成できるか？

主な発見

• DeepLightはCriteoデータセットで46倍、Avazuデータセットで27倍の高速化を達成し、AUCに損失が生じない。これは顕著な推論加速を示している。
• Criteoでは、DNN部で99%、フィールド行列で95%、埋め込みで40%のプルーニングを実施した状態でもAUCが0.8114を維持し、推論遅延は0.093msにまで低下した。
• Avazuでは、DNN部で98%、フィールド行列で90%のプルーニングを実施したが、埋め込み部にはプルーニングを適用せず、AUCは0.7894を維持した。
• フレームワークにより、Criteoでは最大10倍、Avazuでは2.5倍のメモリ使用量削減が達成され、オンライン配信におけるモデルの効率的保存・取得が可能になった。
• DeepFM、NFM、xDeepFMのスパース版と比較して、DeepLightは速度と精度の両面で優れており、Criteoでは0.8114のAUCを達成したのに対し、スパース版DeepFMは0.8032にとどまった。
• フィールド重み付き行列構造は、高いスパarsityと効率的なプルーニングを可能にし、CTRモデルにおける構造的圧縮に特に適している。