[논문 리뷰] FairJudge: Trustworthy User Prediction in Rating Platforms

Srijan Kumar, Bryan Hooi외 4명|arXiv (Cornell University)|2017. 03. 30.

Spam and Phishing Detection참고 문헌 30인용 수 16

한 줄 요약

FairJudge는 사용자 공정성, 제품 우수성, 평가 신뢰성의 상호의존성을 상호 재귀적인 베이지안 방정식으로 함께 모델링함으로써 평점 플랫폼에서 위조 사용자를 탐지하기 위한 새로운 반복 알고리즘을 제안한다. 이 알고리즘은 선형 시간 복잡도를 보장하며 수렴이 보장되며, 기존의 9가지 방법보다 뛰어난 성능을 보이며, 플리파카트에서 실제 위조 행위의 80%를 탐지했고 비트코인 네트워크에서 40명의 사용자로 구성된 봇넷도 탐지했다.

ABSTRACT

Rating platforms enable large-scale collection of user opinion about items (products, other users, etc.). However, many untrustworthy users give fraudulent ratings for excessive monetary gains. In the paper, we present FairJudge, a system to identify such fraudulent users. We propose three metrics: (i) the fairness of a user that quantifies how trustworthy the user is in rating the products, (ii) the reliability of a rating that measures how reliable the rating is, and (iii) the goodness of a product that measures the quality of the product. Intuitively, a user is fair if it provides reliable ratings that are close to the goodness of the product. We formulate a mutually recursive definition of these metrics, and further address cold start problems and incorporate behavioral properties of users and products in the formulation. We propose an iterative algorithm, FairJudge, to predict the values of the three metrics. We prove that FairJudge is guaranteed to converge in a bounded number of iterations, with linear time complexity. By conducting five different experiments on five rating platforms, we show that FairJudge significantly outperforms nine existing algorithms in predicting fair and unfair users. We reported the 100 most unfair users in the Flipkart network to their review fraud investigators, and 80 users were correctly identified (80% accuracy). The FairJudge algorithm is already being deployed at Flipkart.

연구 동기 및 목표

• 아마존, 여플, 플리파카트와 같은 온라인 평점 플랫폼에서 악성 사용자가 재정적 이득을 위해 평판을 조작하는 문제의 증가를 다루기 위해.
• 초기 데이터가 제한된 상황(냉시작 문제)에서도 신뢰할 수 있는 사용자 예측 시스템을 개발하기 위해.
• 사용자 공정성, 제품 품질, 평가 신뢰성 간의 상호의존성을 행동 이상 징후를 포착할 수 있도록 모델링하기 위해.
• 실제 시스템인 플리파카트 마켓플레이스와 같은 환경에 구현 가능한 확장성과 이론적으로 보장된 알고리즘을 설계하기 위해.

제안 방법

• 사용자 공정성 F(u), 제품 우수성 G(p), 평가 신뢰성 R(u,p)의 세 가지 핵심 지표를 상호 재귀적 공식화를 통해 정의한다.
• 공정성 및 우수성 점수에 대한 사전 분포를 통합함으로써 냉시작 문제를 다루기 위한 베이지안 프레임워크를 도입한다.
• 평가 속도, 집중성, 평가 패턴과 같은 행동적 특성을 벌점 항목을 통해 모델에 통합하여 이질적 행동을 탐지한다.
• 시간표시가 있는 이원 그래프 기반의 전체 평점 네트워크에서 F(u), G(p), R(u,p)를 함께 계산하는 반복 알고리즘 FairJudge를 개발한다.
• 네트워크 구조, 행동 신호, 사전 신념을 조합한 가중치 업데이트 규칙을 사용하여 각 반복에서 공정성 및 신뢰성 추정치를 개선한다.
• 유한한 반복 횟수 내에서 이론적 수렴성을 증명하고, 간선 수 E에 대해 선형 시간 복잡도 O(E)를 확보한다.

실험 결과

연구 질문

• RQ1 공정성, 우수성, 신뢰성의 공동 재귀 모델이 기존 방법보다 평점 플랫폼에서 위조 사용자를 탐지하는 데 더 우수한 성능을 보일 수 있는가?
• RQ2 행동적 특성과 베이지안 사전 확률의 통합이, 특히 냉시작 기간 동안 탐지 정확도 향상에 얼마나 효과적인가?
• RQ3 라벨이 부족한 훈련 데이터, 특히 비지도 학습 설정에서도 FairJudge 알고리즘이 높은 성능을 유지하는가?
• RQ4 실제 네트워크에서 봇넷이나 공모한 셰일스와 같은 조직적 위조 행위를 알고리즘이 탐지할 수 있는가?
• RQ5 알고리즘이 대규모 실세계 평점 네트워크에 얼마나 잘 스케일링되는가?

주요 결과

• FairJudge는 다섯 개인 실세계 데이터셋에서 다섯 개의 실세계 데이터셋을 기반으로 한 10개의 비지도 케이스 중 9개에서 평균 정밀도가 최고 또는 2위를 기록하여 강력한 일반화 능력을 입증했다.
• 지도 학습 설정에서는 다섯 개의 모든 데이터셋에서 AUC ≥ 0.85를 달성했으며, 기존의 9개 알고리즘을 항상 능가했다.
• 플리파카트의 위조 탐지 조사팀에 보고된 100명의 가장 불공정한 사용자 중 80명을 정확히 식별하여 실제 검증에서 80%의 정확도를 달성했다.
• 비트코인 알파 네트워크에서 한 계정의 셰일스로 확인된 40명의 공모 사용자 군집이 FairJudge에 의해 성공적으로 탐지되었으며, 상호 평가를 통해 서로 유착된 그룹을 이룬 것으로 나타났다.
• 불공정한 사용자는 평균적으로 매우 낮은 평점을 부여했으며(아마존에서 평균 -0.88), 빠른 속도로 평점을 기록했으며(종종 15초 이내로 간격), 이중 평가 패턴을 보였다(모두 -1.0 또는 모두 +1.0).
• 알고리즘은 선형 확장성을 보였으며, 실행 시간이 간선 수에 비례하여 증가함으로써 대규모 배포에 실용적임을 확인했다.