[論文レビュー] Assessing the Impact of a User-Item Collaborative Attack on Class of Users

Yashar Deldjoo, Tommaso Di Noia+1 more|arXiv (Cornell University)|Aug 21, 2019

Recommender Systems and Techniques参考文献 30被引用数 6

ひとこと要約

本稿は、協調フィルタリング（CF）モデルにおけるユーザー・アイテム協同フィッシング攻撃を調査し、攻撃の有効性がユーザークラス（やや活動的 vs. 高度活動的）およびデータセットのスパarsityにどのように変化するかに焦点を当てる。攻撃の影響は、スパースな（Yelp）と密な（MovieLens）データセットで逆転している：Yelpではやや活動的ユーザーがより免疫を示すが、MovieLensでは高度活動的ユーザーがより耐性がある。これはスパarsityが重要な要因であることを示している。BPR-MFはユーザークラスに対して最も感受性が低く、BPR-SLIMとItem-kNNはユーザークラス間で攻撃反応に強い相関を示す。

ABSTRACT

Collaborative Filtering (CF) models lie at the core of most recommendation systems due to their state-of-the-art accuracy. They are commonly adopted in e-commerce and online services for their impact on sales volume and/or diversity, and their impact on companies' outcome. However, CF models are only as good as the interaction data they work with. As these models rely on outside sources of information, counterfeit data such as user ratings or reviews can be injected by attackers to manipulate the underlying data and alter the impact of resulting recommendations, thus implementing a so-called shilling attack. While previous works have focused on evaluating shilling attack strategies from a global perspective paying particular attention to the effect of the size of attacks and attacker's knowledge, in this work we explore the effectiveness of shilling attacks under novel aspects. First, we investigate the effect of attack strategies crafted on a target user in order to push the recommendation of a low-ranking item to a higher position, referred to as user-item attack. Second, we evaluate the effectiveness of attacks in altering the impact of different CF models by contemplating the class of the target user, from the perspective of the richness of her profile (i.e., cold v.s. warm user). Finally, similar to previous work we contemplate the size of attack (i.e., the amount of fake profiles injected) in examining their success. The results of experiments on two widely used datasets in business and movie domains, namely Yelp and MovieLens, suggest that warm and cold users exhibit contrasting behaviors in datasets with different characteristics.

研究の動機と目的

• 協調フィルタリングシステムにおける、やや活動的と高度活動的ユーザーの異なるクラスに及ぼすユーザー・アイテムフィッシング攻撃のグローバルおよびローカルな影響を評価すること。
• データセットのスパarsityが、ユーザークラスに及ぼすフィッシング攻撃の有効性にどのように影響するかを調査すること。
• ユーザークラスに特化した攻撃条件下での、さまざまなCFモデル（例：BPR-MF, BPR-SLIM, Item-kNN, User-kNN）の耐性を比較すること。
• ユーザークラスの変動に最も影響を受けないCFモデルを特定すること。
• スパarsityなどのデータ特性が、レコメンデーションシステムにおける攻撃耐性にどのように影響するかを実証的に示すこと。

提案手法

• 本研究では、特定の低順位のアイテムを推薦順位で上昇させるために、標的の評価をもつ偽のユーザー・プロファイルを挿入することで、ユーザー・アイテムフィッシング攻撃を実施する。
• 攻撃戦略はユーザーの好みに基づき、選択されたアイテム（I_S）、補助アイテム（I_F）、および標的アイテム（I_T）を用い、偽プロファイルの数を変化させて実験を行う。
• 実験は、2つのデータセット（MovieLens-1M（密）およびYelp（スパース））を用い、それぞれ異なるスパarsityレベルを持つ。
• 評価には、攻撃下での推薦品質を評価する主な指標としてHR@10（10位以内にヒットする確率）を用いる。
• ユーザークラスごとの攻撃への反応の類似性を分析するため、CFモデル間でピアソン相関係数を計算する。
• ユーザークラスは、レーティング数に基づいて定義される：やや活動的ユーザーは少ないレーティング数、高度活動的ユーザーは多数のレーティング数を有し、プロファイルの豊かさを反映する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: グローバルな視点から、やや活動的および高度活動的ユーザーのようなユーザークラスに、ユーザー・アイテム攻撃がどのような影響を与えるか？攻撃を特定のユーザークラスに特に効果的にするように調整可能か？攻撃の影響に寄与する要因は何か？
• RQ2 RQ2: ローカルな視点から、ユーザークラスを考慮した場合、CFレコメンデーションモデルはユーザー・アイテム攻撃に対してどのように異なる挙動を示すか？
• RQ3 RQ3: データセットのスパarsityは、やや活動的ユーザーと高度活動的ユーザーのフィッシング攻撃に対する相対的耐性にどのように影響するか？
• RQ4 RQ4: ユーザークラスの変動に最も感受性が低いCFモデルはどれか？

主な発見

• スパースなYelpデータセットでは、高度活動的ユーザーに比べてやや活動的ユーザーがフィッシング攻撃に対してより免疫を示すが、これは密なMovieLensデータセットとは逆である。MovieLensでは高度活動的ユーザーがより耐性がある。
• 攻撃有効性の差は主にデータセットのスパarsityに起因する：YelpはMovieLensに比べて約40倍スパースであり、プロファイルの豊かさと攻撃検知のしやすさに影響を与えている。
• BPR-MFはユーザークラスに対して最も感受性が低く、すべての攻撃タイプとユーザークラスでユーザー影響要因が1に近い（1に近い）ため、高い耐性を示している。
• BPR-SLIMとItem-kNNは、ユーザークラス間でHR@10性能に強い相関（ρ ≥ 0.960）を示しており、攻撃への反応行動が類似していることを示している。
• User-kNNは、やや活動的ユーザーにおける性能の相関がわずかに低く、おそらくスパースなプロファイルに対して好みベースの攻撃が効果的であるためである。
• 結果から、スパarsity、ユーザーの偏り、レーティングの分散といったデータ特性が攻撃有効性に顕著に影響することを示しており、今後の研究が求められる。