[論文レビュー] Image Matters: Visually modeling user behaviors using Advanced Model Server

Tiezheng Ge, Liqin Zhao+14 more|arXiv (Cornell University)|Nov 17, 2017

Image and Video Quality Assessment参考文献 40被引用数 9

ひとこと要約

本稿では、オンライン広告におけるクリック予測のための、ユーザー行動画像とID特徴を効率的に統合的にモデリングできる分散型機械学習フレームワーク「Advanced Model Server (AMS)」を提案する。サーバーノード上で高次元の画像を低次元埋め込みに圧縮する共有で統一された画像記述子を学習することで、AMSは通信およびストレージのオーバーヘッドを著しく削減し、スケーラブルな学習を可能にする。実験では、ベースラインモデル比で0.0078のGAUC向上を達成し、オンラインA/Bテストでは商品インプレッションが9.2%増加した。これは、タオバオの広告システムにおけるCTR予測精度の顕著な向上と商業的インパクトを示している。

ABSTRACT

In Taobao, the largest e-commerce platform in China, billions of items are provided and typically displayed with their images. For better user experience and business effectiveness, Click Through Rate (CTR) prediction in online advertising system exploits abundant user historical behaviors to identify whether a user is interested in a candidate ad. Enhancing behavior representations with user behavior images will help understand user's visual preference and improve the accuracy of CTR prediction greatly. So we propose to model user preference jointly with user behavior ID features and behavior images. However, training with user behavior images brings tens to hundreds of images in one sample, giving rise to a great challenge in both communication and computation. To handle these challenges, we propose a novel and efficient distributed machine learning paradigm called Advanced Model Server (AMS). With the well known Parameter Server (PS) framework, each server node handles a separate part of parameters and updates them independently. AMS goes beyond this and is designed to be capable of learning a unified image descriptor model shared by all server nodes which embeds large images into low dimensional high level features before transmitting images to worker nodes. AMS thus dramatically reduces the communication load and enables the arduous joint training process. Based on AMS, the methods of effectively combining the images and ID features are carefully studied, and then we propose a Deep Image CTR Model. Our approach is shown to achieve significant improvements in both online and offline evaluations, and has been deployed in Taobao display advertising system serving the main traffic.

研究の動機と目的

• ユーザーが関与したアイテムの画像から得られる視覚的コンテンツとID特徴を併用することで、オンライン広告におけるユーザーの好みをモデリングし、CTR予測を向上させること。
• 大規模な産業的システムにおいて、1ユーザーあたり何百枚もの画像を含む学習を実施する際の計算および通信の課題に対処すること。
• 冗長な計算やストレージを回避しつつ、画像特徴とID特徴の共同学習を可能にするスケーラブルな分散学習フレームワークを設計すること。
• サーバーノード間で共有される統一された画像記述子モデルを設計し、データ送信およびストレージコストを削減すること。
• 実世界のEC環境におけるオフライン評価および大規模なオンラインA/Bテストを通じて、提案フレームワークの有効性を検証すること。

提案手法

• パラメータサーバー（PS）フレームワークの拡張として、すべてのサーバーノードで共有され、学習可能な画像記述子モデルをグローバルに学習可能とする「Advanced Model Server (AMS)」を提案する。
• 送信前に、サーバー側で画像記述子モデルを用いて生画像を低次元の高次元意味的特徴に埋め込む。
• CTRモデルを、特徴集約と予測を担当するワーカーモデルと、画像特徴学習とグローバルパラメータ更新を担当するサーバーモデルに分解する。
• 生画像データをサーバーに分散配置し、従来のインサイト内ストレージと比較して約31倍のストレージ削減を実現する。
• 複数のユーザー行動から得られる視覚的表現を統合的に統合するためのマルチクエリアテンションプーリング機構を採用する。
• ID埋め込みパラメータの過学習を防ぐために部分的ウォームアップ戦略を採用し、汎化性能とモデル安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ユーザー行動画像とID特徴を併用してモデリングすることで、大規模なオンライン広告システムにおけるCTR予測性能を顕著に向上させることができるか？
• RQ2 分散学習システムは、1ユーザーあたり何百枚もの画像を含む学習を、通信および計算負荷を効率的に処理できるか？
• RQ3 共有でグローバルな画像記述子モデルが、モデル性能とシステムのスケーラビリティに与える影響は何か？
• RQ4 視覚的特徴とID特徴の統合は、実世界でのデプロイにおいてモデルの汎化性能と耐障害性にどのように影響を与えるか？
• RQ5 提案されたフレームワークは、CTR予測を越えて、推薦システムのプリランクフェーズなどに効果的に応用可能か？

主な発見

• オフライン評価において、画像特徴を組み込んだ提案モデル（DICM）は、ベースラインモデル比で0.0078のGAUC向上と0.0055のAUC向上を達成し、顕著な性能向上を示した。
• オンラインA/Bテストでは、DICMが平均でCTRを9.2%、eCPMを5.7%、GPMを5.9%向上させ、7日間のテスト期間中で一貫した向上が確認された。
• 各サンプルに画像を複製して保存するのではなく、サーバーにグローバルに共有された特徴として保存することで、ストレージ使用量を約31倍削減した。
• 部分的ウォームアップ戦略が最良の性能を示した一方で、完全なウォームアップは過学習を引き起こし、結果として劣化した。これは、トレーニングスケジュール設計の重要性を示している。
• フレームワークは良好に一般化されており、プリランクフェーズでも0.0060のGAUC向上と0.0041のAUC向上を達成した。これは、他のCTR予測タスクへの広範な適用可能性を示している。
• DICMは、タオバオの本番環境でのディスプレイ広告システムに正常にデプロイされ、5億人のユーザーと数百万の広告主をカバーし、明確な商業的インパクトを発揮している。