[논문 리뷰] "Click" Is Not Equal to "Like": Counterfactual Recommendation for Mitigating Clickbait Issue.

Wenjie Wang, Fuli Feng외 3명|arXiv (Cornell University)|2020. 09. 21.

Recommender Systems and Techniques참고 문헌 57인용 수 13

한 줄 요약

이 논문은 사용자 클릭을 인과 과정으로 모델링하여 노출 특징(예: 제목, 커버)을 분리함으로써, 클릭 유도 광고(Clickbait)를 완화하기 위한 반사적 추천 프레임워크를 제안한다. 이는 오직 시각적 특징이 클릭에 영향을 미치는 가상의 세계에서 클릭 가능성도 추정할 수 있도록 한다. 실험 결과, 기만적인 콘텐츠에 대한 의존도를 줄임으로써 클릭 후 사용자 만족도가 크게 향상됨을 확인하였다.

ABSTRACT

Recommendation is a prevalent and critical service in information systems. To provide personalized suggestions to users, industry players embrace machine learning, more specifically, building predictive models based on the click behavior data. This is known as the Click-Through Rate (CTR) prediction, which has become the gold standard for building personalized recommendation service. However, we argue that there is a significant gap between clicks and user satisfaction -- it is common that a user is cheated to click an item by the attractive title/cover of the item. This will severely hurt user's trust on the system if the user finds the actual content of the clicked item disappointing. What's even worse, optimizing CTR models on such flawed data will result in the Matthew Effect, making the seemingly attractive but actually low-quality items be more frequently recommended. In this paper, we formulate the recommendation process as a causal graph that reflects the cause-effect factors in recommendation, and address the clickbait issue by performing counterfactual inference on the causal graph. We imagine a counterfactual world where each item has only exposure features (i.e., the features that the user can see before making a click decision). By estimating the click likelihood of a user in the counterfactual world, we are able to remove the effect of exposure features and eliminate the clickbait issue. Experiments on real-world datasets demonstrate that our method significantly improves the post-click satisfaction of CTR models.

연구 동기 및 목표

• 사용자 클릭과 실제 만족도 사이의 격차를 해소하기 위해, 기만적인 제목이나 커버로 인해 잘못된 클릭이 발생하는 추천 시스템의 문제를 해결한다.
• CTR 기반 최적화로 인해 열등한 품질이지만 클릭 유도 최적화된 항목이 부당하게 인기몰이를 하는 매트류 효과(Mattthew Effect)를 식별하고 완화한다.
• 클릭을 선호도의 직접적 지표로 보지 않고, 기만적인 노출 특징에 의해 영향을 받는 결과로 모델링함으로써 사용자 신뢰도와 장기적인 시스템 품질을 향상시킨다.
• 노출 특징이 콘텐츠 품질에서 분리된 가상의 세계에서 클릭 가능성의 추정을 가능하게 하는 인과 추론 프레임워크를 개발한다.
• 기만적인 노출 특징의 영향을 제거함으로써 더 정확하고 만족도가 높은 추천이 가능해짐을 입증한다.

제안 방법

• 사용자 특징, 노출 특징, 클릭 간의 인과 관계를 모델링하기 위해 추천 과정을 인과 그래프로 재구성한다.
• 각 항목의 클릭 가능성 예측을 클릭 전에 노출된 특징들에만 기반하여 설정한 반사적 세계를 정의한다.
• 반사적 추론을 사용하여 노출 특징이 변경되거나 제거된 경우 클릭 확률을 추정함으로써 그 영향력을 분리한다.
• 반사적 클릭 가능성에 기반해 CTR 모델을 훈련시켜 클릭 유도 콘텐츠에 대한 편향을 줄이고 공정성 및 만족도를 향상시킨다.
• 구조적 인과 모델링을 적용하여 클릭 예측에서 노출 특징의 영향을 실제 콘텐츠 품질에서 분리한다.
• 실제 세계 데이터셋을 활용하여, 이 방법이 클릭 후 사용자 만족도 지표 향상에 효과가 있음을 검증한다.

실험 결과

연구 질문

• RQ1 제목과 커버와 같은 노출 특징이 CTR 예측을 얼마나 왜곡시키며, 이로 인해 사용자 만족도가 떨어지는가?
• RQ2 인과 그래프 기반 반사적 추론이 기만적인 노출 특징의 클릭에 대한 영향을 효과적으로 분리할 수 있는가?
• RQ3 노출 특징의 영향을 제거함으로써 추천 시스템에서 클릭 후 사용자 만족도는 어떻게 향상되는가?
• RQ4 제안된 방법이 저품질 항목이 높은 클릭률로 인해 과도하게 추천되는 매트류 효과를 줄일 수 있는가?
• RQ5 반사적 CTR 모델이 예측 정확도를 유지하거나 향상시키면서도 표준 CTR 모델에 비해 사용자 만족도 측면에서 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• 제안된 반사적 추천 방법은 기만적인 노출 특징에 대한 의존도를 줄임으로써 클릭 후 사용자 만족도를 크게 향상시킨다.
• 이 방법은 매트류 효과를 효과적으로 완화하여, 클릭 유도 최적화로 인해 저품질 항목이 과도하게 추천되는 것을 방지한다.
• 실제 세계 데이터셋에서의 실험 결과, 반사적 CTR 모델이 원시 클릭 데이터에 기반해 훈련된 표준 CTR 모델보다 더 높은 사용자 만족도를 기록함을 확인하였다.
• 반사적 세계에서 노출 특징을 분리함으로써, 모델은 더 정확하고 신뢰할 수 있는 클릭 예측을 달성한다.
• 인과 모델링 접근법은 추천 결정에서 시각적 또는 텍스트 기반 조작의 영향을 실제 콘텐츠 품질에서 성공적으로 분리하였다.
• 결과적으로, 노출 특징이 기만적인 경우 클릭 행동만으로는 사용자 선호도의 우수한 대체 지표가 되지 못한다는 것이 입증되었다.