[논문 리뷰] Consequential Ranking Algorithms and Long-term Welfare

Behzad Tabibian, Vicenç Gómez외 3명|arXiv (Cornell University)|2019. 05. 13.

Mobile Crowdsensing and Crowdsourcing참고 문헌 44인용 수 4

한 줄 요약

이 논문은 마르코프 결정 과정(MDP)을 통해 사용자 동역학을 모델링함으로써 장기적 복지를 최적화하는 결과 기반 순위 매기기 알고리즘을 제안한다. 이는 즉각적 유틸리티와 정보 오용 및 무례함과 같은 사회적 비용 간의 트레이드오프를 가능하게 한다. 제안된 기울기 기반 방법을 통해 유해 콘텐츠를 최대 30% 감소시키면서 원래 유틸리티에 거의 영향을 주지 않도록 파arameterized 순위 매기기 모델을 학습한다. 이는 실제 Reddit 데이터를 기반으로 검증되었다.

ABSTRACT

Ranking models are typically designed to provide rankings that optimize some measure of immediate utility to the users. As a result, they have been unable to anticipate an increasing number of undesirable long-term consequences of their proposed rankings, from fueling the spread of misinformation and increasing polarization to degrading social discourse. Can we design ranking models that understand the consequences of their proposed rankings and, more importantly, are able to avoid the undesirable ones? In this paper, we first introduce a joint representation of rankings and user dynamics using Markov decision processes. Then, we show that this representation greatly simplifies the construction of consequential ranking models that trade off the immediate utility and the long-term welfare. In particular, we can obtain optimal consequential rankings just by applying weighted sampling on the rankings provided by models that maximize measures of immediate utility. However, in practice, such a strategy may be inefficient and impractical, specially in high dimensional scenarios. To overcome this, we introduce an efficient gradient-based algorithm to learn parameterized consequential ranking models that effectively approximate optimal ones. We showcase our methodology using synthetic and real data gathered from Reddit and show that ranking models derived using our methodology provide ranks that may mitigate the spread of misinformation and improve the civility of online discussions.

연구 동기 및 목표

• 현재 모델이 예측하지 못하는 바, 순위 매기기 시스템의 장기적 사회적 해로인 가짜 뉴스 확산과 극단화를 해결하기 위함.
• 자신의 제안하는 순위가 장기적으로 미치는 영향을 명시적으로 고려하는 순위 알고리즘 설계.
• 즉각적 유틸리티 최적화 모델의 유지와 장기적 복지 지표(예: 예절과 정보 품질) 향상 간의 균형 확보.
• 고차원 설정에서의 스케일러블 배포를 위한 효율적인 기울기 기반 학습 방법 개발.
• 실제 Reddit 데이터를 기반으로 한 경험적 검증을 통해 순위 매기기 유틸리티를 희생시키지 않고도 가짜 뉴스와 무례함을 감소시킴을 입증함.

제안 방법

• 순위 매기기와 사용자 동역학을 함께 모델링하기 위해 마르코프 결정 과정(MDP)을 사용하며, 순위 시퀀스와 변화하는 아이템 특성들을 표현함.
• 벨먼의 최적성 원리를 적용하여 원래 순위에 대한 가중 표본 추출을 통해 최적의 결과 기반 순위를 분석적으로 도출함.
• 장기적 복지에 대한 비용 기반으로 지수 가중치를 적용하여 유해 콘텐츠를 줄이는 순위를 우선시함.
• 기울기 기반 알고리즘을 개발하여 최적 해를 효율적으로 근사하는 파arameterized 결과 기반 순위 매기기 모델(예: 플래킷-루시)을 학습함.
• 원래 순위 모델에 대한 유사도(클로이버지 수식을 통한 KL 발산)와 장기적 복지(예: 무례함 또는 가짜 뉴스 점수) 간의 트레이드오프를 고려한 손실 함수를 사용함.
• 시간이 첫 댓글까지의 간격, 무례함 점수, 신뢰성 부족 점수 등을 포함한 특징을 사용하여 댓글 시퀀스 배치를 기반으로 실제 Reddit 데이터에서 모델을 훈련함.

실험 결과

연구 질문

• RQ1 가짜 뉴스와 무례함과 같은 장기적 사회적 해로를 예측하고 완화할 수 있는 순위 매기기 모델을 설계할 수 있는가?
• RQ2 순위 매기기 시스템에서 즉각적 유틸리티와 장기적 복지 간의 트레이드오프를 공식적으로 모델링하고 최적화할 수 있는가?
• RQ3 결과 기반 순위 매기기 모델은 실제 온라인 토론의 품질과 콘텐츠 무결성에 어떤 영향을 미치는가?
• RQ4 고차원 설정에서 최적의 결과 기반 순위를 얼마나 효율적으로 근사할 수 있는가?
• RQ5 파arameterized 순위 매기기 모델은 원래 순위 시스템의 유틸리티를 유지하면서 얼마나 많은 유해 콘텐츠를 줄일 수 있는가?

주요 결과

• 결과 기반 순위 매기기 모델은 Reddit 데이터 기반 측정에서 상위 순위 댓글의 무례함을 최대 30% 감소시키면서 즉각적 유틸리티 손실를 최소화함.
• 모델은 원래 역순시계열 순위에서 크게 벗어나지 않으면서도 상위 순위에 있는 가짜 뉴스를 최대 30% 감소시킴.
• 기울기 기반 학습 알고리즘이 최적의 결과 기반 순위를 효과적으로 근사하여 고차원 설정에서의 실용적 배포를 가능하게 함.
• 가중 표본 추출을 통한 분석적 해법은 벤치마크로 검증되었으며, 복지 기반 재가중치를 통해 원래 모델에서 최적 순위를 도출할 수 있음을 보여줌.
• KL 발산으로 측정된 원래 순위 모델과의 높은 일치도를 유지하면서도 장기적 복지 지표를 크게 향상시킴.
• 여러 테스트 제출에 걸쳐 일관된 결과를 보였으며, 95% 신뢰구간을 통한 분석으로 성능의 견고성이 확인됨.