[論文レビュー] What We Know About Using Non-Engagement Signals in Content Ranking

Tom Cunningham, Sana Pandey+8 more|arXiv (Cornell University)|Feb 9, 2024

Sentiment Analysis and Opinion Mining被引用数 7

ひとこと要約

この論文は、コンテンツランキングにおける非エンゲージメント信号に関する日長の専門家ワークショップの証拠を検討し、エンゲージメント予測ランキングが維持率に有効である一方、品質代理指標、項目レベルの調査、多様なエンゲージメント信号で強化されうること、ユーザーコントロールは使用が混在し、態度への影響は限定的であることを示している。

ABSTRACT

Many online platforms predominantly rank items by predicted user engagement. We believe that there is much unrealized potential in including non-engagement signals, which can improve outcomes both for platforms and for society as a whole. Based on a daylong workshop with experts from industry and academia, we formulate a series of propositions and document each as best we can from public evidence, including quantitative results where possible. There is strong evidence that ranking by predicted engagement is effective in increasing user retention. However retention can be further increased by incorporating other signals, including item "quality" proxies and asking users what they want to see with "item-level" surveys. There is also evidence that "diverse engagement" is an effective quality signal. Ranking changes can alter the prevalence of self-reported experiences of various kinds (e.g. harassment) but seldom have large enough effects on attitude measures like user satisfaction, well-being, polarization etc. to be measured in typical experiments. User controls over ranking often have low usage rates, but when used they do correlate well with quality and item-level surveys. There was no strong evidence on the impact of transparency/explainability on retention. There is reason to believe that generative AI could be used to create better quality signals and enable new kinds of user controls.

研究の動機と目的

• コンテンツランキングにおける予測エンゲージメントを超える非エンゲージメント信号の探究を動機づける。
• 非エンゲージメント信号が維持、品質、ユーザー体験に与える公的証拠と定量的結果を要約する。
• 非エンゲージメント信号を統合する際の潜在的なコントロール、透明性、将来の方向性を特定する。

提案手法

• 日長の産業と学界のワークショップの所見を統合する。
• 公的証拠と入手可能な定量的結果で提案を文書化し、それを支持する。
• 項目品質代理指標、項目レベルの調査、そして多様なエンゲージメントなどの信号を論じる。
• ユーザーコントロールとそれらが認識品質および態度に及ぼす影響を検討する。

実験結果

リサーチクエスチョン

• RQ1 予測エンゲージメントを超えてコンテンツランキングを改善する潜在的な非エンゲージメント信号は何か？
• RQ2 非エンゲージメント信号は維持、品質認識、ユーザー体験にどのように影響するか？
• RQ3 ユーザーコントロールと透明性はエンゲージメント、品質、態度にどのような影響を与えるか？
• RQ4 生成AIはランキングでより良い信号と新しいユーザーコントロールの作成に寄与できるか？

主な発見

• 予測エンゲージメントによるランキングは維持率を効果的に高める。
• 項目品質代理指標や項目レベルの調査などの非エンゲージメント信号は維持率をさらに改善できる。
• 多様なエンゲージメントは効果的な品質信号である。
• ランキングの変更は自己報告された体験（例：嫌がらせ）に影響を及ぼすことがあるが、満足度や分極化のような大きな態度指標を通常の実験で大きく変えることはほとんどない。
• ランキングに対するユーザーコントロールは使用率が低いが、品質および項目レベルの調査と相関する。
• 透明性/ explainability が維持率に影響を与えるという強い証拠はない。
• 生成AIはより良い信号を作成し、新しいユーザーコントロールを可能にするのに役立つ可能性がある。