[논문 리뷰] What We Know About Using Non-Engagement Signals in Content Ranking

Tom Cunningham, Sana Pandey외 8명|arXiv (Cornell University)|2024. 02. 09.

Sentiment Analysis and Opinion Mining인용 수 7

한 줄 요약

이 논문은 콘텐츠 랭킹에서의 비참여 신호에 관한 하루 일일 전문가 워크숍의 증거를 검토하여, 참여도 예측 랭킹이 유지에 효과적이지만 품질 프록시, 아이템 수준 설문, 다양한 참여 신호로 보완될 수 있으며, 반면 사용자 제어는 사용이 혼재하고 태도에 미치는 영향이 제한적임을 보여준다.

ABSTRACT

Many online platforms predominantly rank items by predicted user engagement. We believe that there is much unrealized potential in including non-engagement signals, which can improve outcomes both for platforms and for society as a whole. Based on a daylong workshop with experts from industry and academia, we formulate a series of propositions and document each as best we can from public evidence, including quantitative results where possible. There is strong evidence that ranking by predicted engagement is effective in increasing user retention. However retention can be further increased by incorporating other signals, including item "quality" proxies and asking users what they want to see with "item-level" surveys. There is also evidence that "diverse engagement" is an effective quality signal. Ranking changes can alter the prevalence of self-reported experiences of various kinds (e.g. harassment) but seldom have large enough effects on attitude measures like user satisfaction, well-being, polarization etc. to be measured in typical experiments. User controls over ranking often have low usage rates, but when used they do correlate well with quality and item-level surveys. There was no strong evidence on the impact of transparency/explainability on retention. There is reason to believe that generative AI could be used to create better quality signals and enable new kinds of user controls.

연구 동기 및 목표

• 콘텐츠 랭킹에서 예측 참여를 넘어서는 비참여 신호의 탐색을 촉진한다.
• 비참여 신호가 유지, 품질 인식, 사용자 경험에 어떤 영향을 미치는지에 대한 공개 증거와 정량적 결과를 요약한다.
• 비참여 신호를 통합하는 데 있어 가능한 제어, 투명성, 향후 방향을 식별한다.

제안 방법

• 일일 업계-학계 워크숍에서의 발견을 종합한다.
• 가능한 경우 공개 증거와 정량적 결과로 proposition을 문서화하고 이를 뒷받침한다.
• 아이템 품질 프록시, 아이템 수준 설문, 다양한 참여 등 신호를 논의한다.
• 랭킹에 대한 사용자 제어와 인지된 품질 및 태도와의 관계를 고려한다.

실험 결과

연구 질문

• RQ1 예측 참여를 넘어 콘텐츠 랭킹을 개선할 수 있는 비참여 신호는 어떤 것이 있는가?
• RQ2 비참여 신호가 유지, 품질 인식 및 사용자 경험에 어떤 영향을 미치는가?
• RQ3 사용자 제어와 투명성이 참여, 품질 및 태도에 미치는 영향은 무엇인가?
• RQ4 생성형 AI가 더 나은 신호와 랭킹의 새로운 사용자 제어를 만드는 데 기여할 수 있는가?

주요 결과

• 예측 참여에 의한 랭킹이 유지 력을 효과적으로 증가시킨다.
• 아이템 품질 프록시 및 아이템 수준 설문과 같은 비참여 신호가 유지 력을 추가로 향상시킬 수 있다.
• 다양한 참여는 품질 신호로서 효과적이다.
• 랭킹 변화는 자기 보고 경험(예: 괴롭힘)에 영향을 줄 수 있지만, 일반적인 실험에서 만족도나 양극화 같은 큰 태도 지표를 크게 바꾸지는 않는다.
• 랭킹에 대한 사용자 제어의 사용은 낮으나 품질 및 아이템 수준 설문과 연관이 있다.
• 투명성/설명 가능성의 유지에 대한 강한 증거는 없다.
• 생성형 AI가 더 나은 신호를 만들고 새로운 사용자 제어를 가능하게 할 수 있다.