[論文レビュー] Privacy-Aware Recommender Systems Challenge on Twitter's Home Timeline

Luca Belli, Sofia Ira Ktena+13 more|arXiv (Cornell University)|Apr 28, 2020

Recommender Systems and Techniques参考文献 28被引用数 7

ひとこと要約

本論文は、推薦システムにおけるエンゲージメント予測の研究を進めるために、1億6000万件のTwitterホームタイムライン相互作用を含む大規模かつプライバシー配慮型データセットを紹介する。本研究では、量子化された数値特徴、ワンホットエンコーディングされたカテゴリカル特徴、ハッシュ化されたID、CFRNNで埋め込まれたツイート本文を組み合わせたベースラインモデルを提案し、4種類のユーザーのエンゲージメント（いいね、返信、リツイート、リツイート付きコメント）をマルチラベルシグモイド出力で予測する3層MLPを用いる。Huber損失とAdam最適化を用いることで、不均衡なデータに対して頑健な性能を達成する。

ABSTRACT

Recommender systems constitute the core engine of most social network platforms nowadays, aiming to maximize user satisfaction along with other key business objectives. Twitter is no exception. Despite the fact that Twitter data has been extensively used to understand socioeconomic and political phenomena and user behaviour, the implicit feedback provided by users on Tweets through their engagements on the Home Timeline has only been explored to a limited extent. At the same time, there is a lack of large-scale public social network datasets that would enable the scientific community to both benchmark and build more powerful and comprehensive models that tailor content to user interests. By releasing an original dataset of 160 million Tweets along with engagement information, Twitter aims to address exactly that. During this release, special attention is drawn on maintaining compliance with existing privacy laws. Apart from user privacy, this paper touches on the key challenges faced by researchers and professionals striving to predict user engagements. It further describes the key aspects of the RecSys 2020 Challenge that was organized by ACM RecSys in partnership with Twitter using this dataset.

研究の動機と目的

• エンゲージメント予測モデルの訓練およびベンチマーク化に用いることのできる大規模かつ公開可能なソーシャルネットワークデータセットの不足に対処すること。
• 実際のTwitterプラットフォームのダイナミクスに整合したデータセットをリリースすることで、プライバシー配慮型推薦システム分野の研究を促進すること。
• 特にリアルタイムでパーソナライズされたコンテンツ順序付けの文脈において、暗黙のフィードバックを用いたエンゲージメント予測の向上を研究コミュニティに挑戦すること。
• RecSys 2020チャレンジを通じて標準化されたベンチマークを提供し、スケーラブルでプライバシー配慮型の推薦アルゴリズム分野におけるイノベーションを促進すること。

提案手法

• 数値特徴は50個の分位数ベースのボックスに離散化され（欠損値も含む）、モデル入力用にワンホットエンコーディングされる。
• カテゴリカル特徴（例：言語）は、追加の未知語クラスを含めてワンホットエンコーディングされ、頻度に基づく埋め込みが適用される。
• ID特徴（例：ユーザーIDやツイートID）はハッシュ化され、固定サイズのボックスにマッピングされ、高頻度または未知の値の管理が可能になる。
• ツイート本文はトークン化され、計算効率と安定性を考慮して、混沌の自由再帰ニューラルネットワーク（CFRNN）を用いて埋め込まれる。
• すべての特徴埋め込み（数値、カテゴリカル、ID、テキスト）は、サイズ16×4 + 16 = 80の密ベクトルに連結され、活性化関数としてReLUを用いた3層MLP（サイズ：128, 64, 32）に渡される。
• 最終層はシグモイド活性化関数を用い、4種類の重複を許容するエンゲージメントタイプ（いいね、返信、リツイート、リツイート付きコメント）を予測する。Huber損失とAdam最適化を用い、100万ステップにわたって学習される。

実験結果

リサーチクエスチョン

• RQ1 実世界の推薦システム研究を支援するために、大規模かつプライバシー配慮型のデータセットをどのように構築しリリースできるか。
• RQ2 暗黙のフィードバックのみを用いてツイートのユーザーのエンゲージメントを予測する際の主な課題は何か。
• RQ3 量子化された特徴、埋め込み技術、マルチラベル学習を組み合わせたベースラインモデルは、不均衡で高次元のデータに対してエンゲージメント予測でどの程度有効か。
• RQ4 時間帯などの文脈的特徴は、動的なソーシャルメディア環境においてエンゲージメント予測性能をどの程度向上させ得るか。
• RQ5 明示的なユーザー評価が存在しない状況で、PR-AUCやF1スコアといった指標を用いて、不均衡なエンゲージメントクラスに対してどのように公平にモデル性能を評価できるか。

主な発見

• データセットは1億6000万件のサンプルを含み、ほぼ等しい正例と負例のエンゲージメントが存在し、同種のものの中で最も大規模な公開ソーシャルメディアデータセットである。
• ベースラインモデルは、100万ステップにわたって固定学習率0.001でHuber損失とAdam最適化を用いて安定した学習を達成した。
• 数値特徴の分位数ベースのボックス化と高頻度IDのハッシュ化を用いることで、スパースで歪んだ特徴分布の効果的管理が可能になった。
• シグモイド活性化関数を用いたマルチラベル出力により、4種類のエンゲージメントタイプの重複を許容する予測が可能となり、実世界のユーザー行動を反映した。
• 評価フレームワークはPR-AUCとF1スコアに重点を置き、不均衡なデータに対してAUCよりも感受性が高いため、頑健な性能評価が可能になった。
• 先行研究で示されたように、ユーザーのアクティビティ時間といった文脈的特徴の重要性が強調され、今後のモデルはこうした信号を統合することで関連性と多様性の向上が図られるべきである。