[논문 리뷰] Detecting, Representing and Querying Collusion in Online Rating Systems

Mohammad Allahbakhsh, Aleksandar Ignjatović외 4명|arXiv (Cornell University)|2012. 11. 02.

Peer-to-Peer Network Technologies참고 문헌 24인용 수 10

한 줄 요약

이 논문은 빈도 있는 항목집합 마이닝을 사용하여 온라인 평점 시스템에서 부정행위를 탐지하고 표현하며 질의하는 데 새로운 프레임워크를 제안한다. 먼저 후보 부정행위 집단을 식별하기 위해 빈도 있는 항목집합 마이닝을 적용하고, 이후 다차원 지표인 부정행위 정도(DOC) 및 피해 영향도(DI)를 적용하여 부정행위 정도와 잠재적 피해를 기반으로 집단을 순위 매긴다. 이 모델은 부정행위 그래프와 질의어를 도입하여 영향력 있는 분석이 가능하며, 기존 방법에 비해 숨겨진 하위집단과 지능형 공격을 더 잘 탐지한다.

ABSTRACT

Online rating systems are subject to malicious behaviors mainly by posting unfair rating scores. Users may try to individually or collaboratively promote or demote a product. Collaborating unfair rating 'collusion' is more damaging than individual unfair rating. Although collusion detection in general has been widely studied, identifying collusion groups in online rating systems is less studied and needs more investigation. In this paper, we study impact of collusion in online rating systems and asses their susceptibility to collusion attacks. The proposed model uses a frequent itemset mining algorithm to detect candidate collusion groups. Then, several indicators are used for identifying collusion groups and for estimating how damaging such colluding groups might be. Also, we propose an algorithm for finding possible collusive subgroup inside larger groups which are not identified as collusive. The model has been implemented and we present results of experimental evaluation of our methodology.

연구 동기 및 목표

• P2P 시스템과 달리 사용자 간 직접적인 쌍방향 관계가 없는 온라인 평점 시스템에서 부정행위 집단을 탐지하는 데 도전 과제를 해결한다.
• 부정행위자가 정상적인 행동을 모방하는 경우를 포함해 대규모 또는 지능형 부정행위를 탐지하지 못하는 기존 방법의 한계를 극복한다.
• 완전한 부정행위 집단뿐만 아니라, 더 큰 비부정행위처럼 보이는 집단 내에 숨겨진 하위집단도 식별한다.
• 분석가 및 시스템 관리자에게도 활용 가능한 그래프 모델과 전용 질의어를 사용해 부정행위를 탄력적이고 질의 가능한 방식으로 표현한다.
• 평가 유사도, 시간 패턴, 다수 평가자와의 이탈 정도 등의 다수 지표를 통합한 순위 매기기 체계를 통해 탐지 정확도를 향상시킨다.

제안 방법

• 다양한 제품에 걸쳐 공동 평점 패턴을 추출하기 위해 빈도 있는 항목집합 마이닝을 적용하여 공통된 평점 행동을 보이는 후보 부정행위 집단을 식별한다.
• 두 가지 핵심 지표를 정의한다: 부정행위 정도(DOC)는 평점자 간의 구조적 유사성과 협력 정도를 측정하고, 피해 영향도(DI)는 제품 평점에 미치는 잠재적 피해를 추정한다.
• 이중 클리크(biclique) 기반 표현을 사용하여 부정행위 집단을 모델링함으로써, 더 큰 집단 내에서의 빈도 있는 항목집합을 재귀적으로 마이닝하여 하위집단을 탐지할 수 있도록 한다.
• 시간적, 행동적, 신뢰도 기반 지표를 통합하여 단순한 공동 평점 패턴을 넘어서 부정행위 탐지의 정밀도를 향상시킨다.
• 부정행위 관계를 표현하기 위한 그래프 기반 데이터 모델과 영향력 있는 질의 분석을 가능하게 하는 탄력적인 질의어를 설계한다.
• 사용자가 정의한 기준에 따라 부정행위 집단을 상호작용적으로 질의하고 시각화할 수 있도록 프론트엔드 도구를 구현한다.

실험 결과

연구 질문

• RQ1 온라인 평점 시스템에서 평점자 간 직접적인 쌍방향 관계가 없을 경우, 부정행위 집단을 어떻게 효과적으로 탐지할 수 있는가?
• RQ2 지능형 또는 저조도 공격의 경우를 포함해, 부정행위 행동과 정상적인 평점 패턴을 신뢰성 있게 구분할 수 있는 지표는 무엇인가?
• RQ3 더 큰 비부정행위처럼 보이는 집단 내에 숨겨진 하위집단은 어떻게 식별하고 분석할 수 있는가?
• RQ4 그래프 기반 모델과 질의어가 부정행위 탐지 시스템의 표현력과 사용자 친화도를 어느 정도 향상시킬 수 있는가?
• RQ5 제안된 지표(DOC 및 DI)는 기존 방법에 비해 명백한 부정행위와 미묘한 부정행위를 탐지하는 데 얼마나 효과적인가?

주요 결과

• 제안된 모델은 높은 정밀도와 재현율을 기록하여 기존 방법에 비해 명백한 부정행위 패턴뿐 아니라 미묘한 부정행위 패턴까지도 효과적으로 탐지한다.
• DOC와 DI 지표의 조합은 부정행위 집단의 순위 매기기에 더 나은 성능을 보이며, 낮은 DOC를 보이지만 DI가 0.49인 그룹 4는 DI가 0.42인 그룹 6보다 더 큰 피해를 줄 수 있음을 보여주며, DI가 실제 영향을 평가하는 데서의 가치를 입증한다.
• 기존 모델이 탐지하지 못하는 바, 더 큰 비부정행위 집단 내에서 위험한 하위집단을 식별할 수 있으며, 이는 전체적으로는 비부정행위로 간주되는 집단 내에서의 위험한 하위집단 탐지 가능성을 보여준다.
• 낮은 DOC(0.121)를 보이는 그룹 11는 여전히 높은 DI(0.41)를 기록하여, 협력 수준이 낮은 집단도 매우 큰 피해를 줄 수 있음을 보여주며, 위험 평가에서 DI의 중요성을 강조한다.
• 실험 평가를 통해 지표 설계의 적절성과 빈도 있는 항목집합 마이닝 접근법이 의미 있는 부정행위 패턴을 효과적으로 포착할 수 있음을 확인하였다.
• 질의어와 시각화 프론트엔드 도구의 통합은 사용자 중심의 탄력적 분석을 가능하게 하여, 실제 시스템에의 실용적 구현을 지원한다.