[論文レビュー] Click-Through Rate Prediction Using Graph Neural Networks and Online Learning

Farzaneh Rajabi, Jack Siyuan He|arXiv (Cornell University)|May 9, 2021

Image and Video Quality Assessment参考文献 18被引用数 4

ひとこと要約

本論文では、動的ユーザー・アイテム相互作用を捉えるためにオンライン学習を統合したグラフニューラルネットワーク（GNN）ベースのクリックスルーレート（CTR）予測モデルを提案する。特徴量の相互作用をグラフ構造でモデル化し、リアルタイムで適応することで、サブサンプルされたCriteoデータセット上でテストAUC 0.7585を達成し、オフラインGNNおよびDeepFMベースラインを上回った。

ABSTRACT

Recommendation systems have been extensively studied by many literature in the past and are ubiquitous in online advertisement, shopping industry/e-commerce, query suggestions in search engines, and friend recommendation in social networks. Moreover, restaurant/music/product/movie/news/app recommendations are only a few of the applications of a recommender system. A small percent improvement on the CTR prediction accuracy has been mentioned to add millions of dollars of revenue to the advertisement industry. Click-Through-Rate (CTR) prediction is a special version of recommender system in which the goal is predicting whether or not a user is going to click on a recommended item. A content-based recommendation approach takes into account the past history of the user's behavior, i.e. the recommended products and the users reaction to them. So, a personalized model that recommends the right item to the right user at the right time is the key to building such a model. On the other hand, the so-called collaborative filtering approach incorporates the click history of the users who are very similar to a particular user, thereby helping the recommender to come up with a more confident prediction for that particular user by leveraging the wider knowledge of users who share their taste in a connected network of users. In this project, we are interested in building a CTR predictor using Graph Neural Networks complemented by an online learning algorithm that models such dynamic interactions. By framing the problem as a binary classification task, we have evaluated this system both on the offline models (GNN, Deep Factorization Machines) with test-AUC of 0.7417 and on the online learning model with test-AUC of 0.7585 using a sub-sampled version of Criteo public dataset consisting of 10,000 data points.

研究の動機と目的

• CTR予測におけるオフライン評価指標とオンラインパフォーマンスのギャップを、動的ユーザー・レコメンデーション相互作用のモデリングによって解消すること。
• グラフニューラルネットワークを用いて高次特徴量相互作用を明示的にモデリングすることで、CTR予測の精度を向上させること。
• オンライン学習を統合して、進化するユーザー行動にモデルパラメータをリアルタイムで適応させること。
• 静的オフラインモデルやブラックボックスディープラーニングの限界を克服するため、説明可能なファクタリゼーション技術と動的学習を組み合わせること。
• 精度、説明可能性、ユーザーフィードバックへの対応性をバランスさせたスケーラブルで適応的なレコメンデーションシステムの開発

提案手法

• 多フィールド分類特徴量を、特徴量相互作用を符号化するエッジを持つ非均質グラフ内のノードとして表現する。
• グラフインタラクションネットワーク（GIN）の変種を適用し、メッセージパッシングを通じて近隣情報の集約とノード表現の更新を行う。
• 最近のユーザー行動のスライディングウインドウを用いた確率的勾配更新によりオンライン学習を統合し、モデルパラメータをリアルタイムで適応させる。
• GNNが高次特徴量相互作用をモデリングする能力と、軽量なオンライン更新ルールを組み合わせることで、モデルの関連性を維持する。
• エンドツーエンドのGNNトレーニングを目的とするバイナリクロスエントロピー損失関数を用い、Adamを用いて学習率スケジューリングで最適化する。
• 予測されたクリック確率をトップ-Kレコメンデーションに変換するために、しきい値ベースの推論（例：0.3）を適用する。

実験結果

リサーチクエスチョン

• RQ1 オンラインファインチューニングを施したGNNベースのCTRモデルは、現実の動的環境において静的オフラインモデルを上回る性能を示せるか？
• RQ2 グラフ構造を介してモデリングされた高次特徴量相互作用は、一次および二次の手法を上回るCTR予測精度をどのように向上させるか？
• RQ3 オンライン学習は、モデルの汎化性能とオンラインA/Bテスト結果との整合性をどの程度向上させるか？
• RQ4 データの不均衡とクラススケイプはモデルパフォーマンスにどのような影響を及ぼし、CTR予測においてどのように緩和できるか？
• RQ5 GNNとオンライン学習を組み合わせたハイブリッドモデルは、DeepFMやGNN単体のベースラインと比較して、より高いAUCと再現率を達成できるか？

主な発見

• オンライン学習を強化したGNNは、テストAUC 0.7585を達成し、オフラインGNN（0.7417）およびDeepFMベースラインを上回った。
• 継続的なオンライン更新により、新しいユーザー行動パターンへの適応を通じて、コンセプトドリフトに対して優れたロバストネスを示した。
• 高いクラス不均衡（ネガティブクラスの正解率：0.96）にもかかわらず、最適しきい値（0.3）で比較的高いF1スコアを維持しており、スケーリングされたデータの効果的処理を示した。
• 混同行列から、高い偽陰性率が確認され、データ不均衡の持続的課題が裏付けられた。これは、リサンプリングやクラスウェイトの適用で緩和可能である。
• モデルの再現率はベースラインより著しく低く、今後の研究ではデータ再バランス化としきい値チューニングによる再現率の向上を優先すべきである。
• GNN部品（例：エッジワイズアテンション、リサイクル接続）のアブレーションにより、さらなるAUC向上が可能であるが、これは今後の課題に留められた。