[논문 리뷰] Assessing the Impact of a User-Item Collaborative Attack on Class of Users

Yashar Deldjoo, Tommaso Di Noia외 1명|arXiv (Cornell University)|2019. 08. 21.

Recommender Systems and Techniques참고 문헌 30인용 수 6

한 줄 요약

이 논문은 협업 필터링(CF) 모델에 대한 사용자-아이템 공격에 대해, 사용자 클래스(약간 활동적인 사용자 vs. 높은 활동 수준의 사용자)와 데이터셋의 희소성에 따라 공격 효과가 어떻게 달라지는지를 조사한다. 연구 결과, 희소성의 영향으로 인해 공격 영향력이 역전되는 경향을 보였다: Yelp(희소) 데이터셋에서는 약간 활동적인 사용자가 더 면역이고, MovieLens(밀도 높음) 데이터셋에서는 높은 활동 수준의 사용자가 더 견고한 것으로 나타났다. 이는 희소성이 핵심 요소임을 시사한다. BPR-MF는 사용자 클래스에 가장 낮은 민감도를 보이며, BPR-SLIM과 Item-kNN는 사용자 클래스 간에 공격 반응에 강한 상관관계(ρ ≥ 0.960)를 보였다.

ABSTRACT

Collaborative Filtering (CF) models lie at the core of most recommendation systems due to their state-of-the-art accuracy. They are commonly adopted in e-commerce and online services for their impact on sales volume and/or diversity, and their impact on companies' outcome. However, CF models are only as good as the interaction data they work with. As these models rely on outside sources of information, counterfeit data such as user ratings or reviews can be injected by attackers to manipulate the underlying data and alter the impact of resulting recommendations, thus implementing a so-called shilling attack. While previous works have focused on evaluating shilling attack strategies from a global perspective paying particular attention to the effect of the size of attacks and attacker's knowledge, in this work we explore the effectiveness of shilling attacks under novel aspects. First, we investigate the effect of attack strategies crafted on a target user in order to push the recommendation of a low-ranking item to a higher position, referred to as user-item attack. Second, we evaluate the effectiveness of attacks in altering the impact of different CF models by contemplating the class of the target user, from the perspective of the richness of her profile (i.e., cold v.s. warm user). Finally, similar to previous work we contemplate the size of attack (i.e., the amount of fake profiles injected) in examining their success. The results of experiments on two widely used datasets in business and movie domains, namely Yelp and MovieLens, suggest that warm and cold users exhibit contrasting behaviors in datasets with different characteristics.

연구 동기 및 목표

• 협업 필터링 시스템에서 약간 활동적인 사용자와 높은 활동 수준의 사용자로 나뉜 사용자 클래스에 대해, 사용자-아이템 셸링 공격의 전반적 영향과 국소적 영향을 평가하기 위해.
• 데이터셋의 희소성이 사용자 클래스에 대한 셸링 공격의 효과성에 어떻게 영향을 미치는지 조사하기 위해.
• 다양한 CF 모델(BPR-MF, BPR-SLIM, Item-kNN, User-kNN)이 사용자 클래스에 특화된 공격 조건 하에서 어떻게 견딜 수 있는지 비교하기 위해.
• 사용자 클래스의 변동에 대해 공격 결과에 가장 덜 영향을 받는 CF 모델을 특정하기 위해.
• 희소성, 사용자 편향, 평점 분산과 같은 데이터 특성이 추천 시스템에서 공격에 대한 내성을 어떻게 형성하는지에 대한 실증적 증거를 제공하기 위해.

제안 방법

• 공격는 특정 평점을 가진 가짜 사용자 프로필을 주입하여, 낮은 순위를 받는 아이템의 추천 순위를 높이는 방식으로 수행된다.
• 공격 전략은 사용자 선호도를 기반으로 하며, 선택된 아이템(I_S), 채우기용 아이템(I_F), 목표 아이템(I_T)을 사용하며, 가짜 프로필의 수를 다양하게 설정한다.
• 실험은 두 가지 데이터셋(MovieLens-1M, 밀도 높음; Yelp, 희소)을 대상으로 수행되며, 각각 다른 희소 수준을 가진다.
• 평가에는 주로 HR@10(10위까지의 공략률)을 사용하여, 공격 하에서의 추천 품질을 평가한다.
• 모델 간 공격 반응의 행동 유사성을 분석하기 위해, CF 모델 간의 상관관계 계수를 계산한다.
• 사용자 클래스는 평점 수에 따라 정의되며, 약간 활동적인 사용자는 적은 수의 평점을 가지며, 높은 활동 수준의 사용자는 많은 평점을 가지며, 이는 프로필의 풍부함을 반영한다.

실험 결과

연구 질문

• RQ1 RQ1: 전반적인 관점에서, 약간 활동적인 사용자와 높은 활동 수준의 사용자로 나뉜 사용자 클래스에 대해 사용자-아이템 공격의 영향은 어떠한가? – 특정 사용자 클래스에 더 큰 영향을 미치도록 공격를 조정할 수 있는가? – 이러한 공격의 영향력에 영향을 미치는 요소는 무엇인가?
• RQ2 RQ2: 국소적 관점에서, 사용자-클래스를 고려할 때, CF 추천 모델은 사용자-아이템 공격 하에서 어떻게 다르게 행동하는가?
• RQ3 RQ3: 데이터셋의 희소성이, 셸링 공격에 대한 약간 활동적인 사용자와 높은 활동 수준의 사용자의 상대적 내성에 어떻게 영향을 미치는가?
• RQ4 RQ4: 공격 결과의 사용자 클래스 변동에 대해 가장 낮은 민감도를 보이는 CF 모델은 무엇인가?

주요 결과

• 희소한 Yelp 데이터셋에서는 약간 활동적인 사용자가 높은 활동 수준의 사용자보다 더 면역인 반면, 밀도 높은 MovieLens 데이터셋에서는 높은 활동 수준의 사용자가 더 견고한 것으로 나타났다.
• 공격 효과성의 차이는 주로 데이터셋의 희소성 때문이며, Yelp는 MovieLens보다 약 40배 더 희소하여 프로필의 풍부함과 공격 탐지 가능성에 영향을 미친다.
• BPR-MF는 사용자 클래스에 대해 가장 낮은 민감도를 보이며, 모든 공격 유형과 사용자 클래스에서 사용자 영향 요소가 약 1에 가까워 높은 내성을 보였다.
• BPR-SLIM과 Item-kNN는 사용자 클래스 간 HR@10 성능에서 강한 상관관계(ρ ≥ 0.960)를 보이며, 유사한 공격 반응 행동을 보였다.
• User-kNN는 약간 활동적인 사용자에서 성능 상관관계가 略로 낮은 편이었으며, 이는 희소한 프로필에 선호도 기반 공격이 효과적이기 때문일 수 있다.
• 결과적으로, 희소성, 사용자 편향, 평점 분산과 같은 데이터 특성이 공격 효과성에 상당한 영향을 미치며, 향후 연구가 필요하다.