[論文レビュー] "Click" Is Not Equal to "Like": Counterfactual Recommendation for Mitigating Clickbait Issue.

Wenjie Wang, Fuli Feng+3 more|arXiv (Cornell University)|Sep 21, 2020

Recommender Systems and Techniques参考文献 57被引用数 13

ひとこと要約

本稿では、ユーザーのクリックを因果的プロセスとしてモデル化し、露出特徴（例：タイトル、カバー）を分離することで、クリックが誘導される可能性のある反事後的世界でのクリック確率を推定する、逆説的推薦フレームワークを提案する。実験により、だましのコンテンツに依存するのを減らすことで、クリック後のユーザー満足度が著しく向上することが示された。

ABSTRACT

Recommendation is a prevalent and critical service in information systems. To provide personalized suggestions to users, industry players embrace machine learning, more specifically, building predictive models based on the click behavior data. This is known as the Click-Through Rate (CTR) prediction, which has become the gold standard for building personalized recommendation service. However, we argue that there is a significant gap between clicks and user satisfaction -- it is common that a user is cheated to click an item by the attractive title/cover of the item. This will severely hurt user's trust on the system if the user finds the actual content of the clicked item disappointing. What's even worse, optimizing CTR models on such flawed data will result in the Matthew Effect, making the seemingly attractive but actually low-quality items be more frequently recommended. In this paper, we formulate the recommendation process as a causal graph that reflects the cause-effect factors in recommendation, and address the clickbait issue by performing counterfactual inference on the causal graph. We imagine a counterfactual world where each item has only exposure features (i.e., the features that the user can see before making a click decision). By estimating the click likelihood of a user in the counterfactual world, we are able to remove the effect of exposure features and eliminate the clickbait issue. Experiments on real-world datasets demonstrate that our method significantly improves the post-click satisfaction of CTR models.

研究の動機と目的

• 推薦システムにおけるユーザーのクリックと実際の満足度のギャップを是正すること。具体的には、だましのタイトルやカバーが誤ったクリックを引き起こす要因となること。
• CTRベースの最適化によって不正に人気を博す低品質だがクリックバイト最適化済みのアイテムが過剰に推薦されるというマシュー効果を特定・是正すること。
• クリックを好ましさの直接的指標としてではなく、操作的な露出特徴によって影響を受ける結果としてモデル化することで、ユーザーの信頼性と長期的なシステム品質を向上させること。
• 露出特徴がコンテンツの質から分離された反事後的世界におけるクリック確率を推定する因果推論フレームワークを構築すること。
• だましの露出特徴の影響を除去することで、より正確で満足度の高い推薦が得られることを実証すること。

提案手法

• ユーザー特徴、露出特徴、クリックの間の因果的関係をモデル化するため、推薦プロセスを因果グラフとして定式化する。
• クリックの確率が、クリック前に表示される露出特徴にのみ依存する反事後的世界を定義し、各アイテムのクリック確率をその露出特徴に基づいて推定する。
• 逆説的推論を用いて、露出特徴が変更されたり削除されたりした場合のクリック確率を推定することで、その影響を分離する。
• 反事後的クリック確率に基づいてCTRモデルを学習させることで、クリックバイトアイテムへのバイアスを低減し、公平性と満足度を向上させる。
• 構造的因果モデルを適用し、クリック予測における露出特徴の影響と実際のコンテンツ品質の影響を分離する。
• 実世界のデータセットを活用して、本手法がクリック後の満足度指標の向上に有効であることを検証する。

実験結果

リサーチクエスチョン

• RQ1 タイトルやカバーなどの露出特徴がCTR予測を歪め、ユーザー満足度を低下させる程度はどの程度か？
• RQ2 因果グラフにおける逆説的推論が、だましの露出特徴がクリックに与える影響を効果的に分離できるか？
• RQ3 露出特徴の影響を除去することで、推薦システムにおけるクリック後の満足度はどのように向上するか？
• RQ4 提案手法により、低品質なアイテムが高クリック率のため不正に推薦されがちなマシュー効果は低減されるか？
• RQ5 反事後CTRモデルは、予測精度を維持または向上させつつ、標準CTRモデルを上回るユーザー満足度を達成できるか？

主な発見

• 提案された逆説的推薦手法は、だましの露出特徴への依存を減らすことで、クリック後のユーザー満足度を著しく向上させた。
• 本手法はマシュー効果を効果的に是正し、クリックバイト最適化された低品質なアイテムが過剰に推薦されるのを防いだ。
• 実世界のデータセットを用いた実験により、反事後CTRモデルが、生のクリックデータに基づいて学習された標準CTRモデルよりも高いユーザー満足度を達成することが確認された。
• 反事後的世界で露出特徴を分離することで、モデルはより正確で信頼性の高いクリック予測を達成した。
• 因果モデル化アプローチにより、推薦意思決定における視覚的・言語的操作の影響を、実際のコンテンツ品質から成功裏に分離できた。
• 結果から、露出特徴がだましのものである場合には、クリック行動そのものがユーザーの好みの良好な代理指標ではないことが示された。