[論文レビュー] Manipulating Visually-aware Federated Recommender Systems and Its Countermeasures

Wei Yuan, Shilong Yuan+3 more|arXiv (Cornell University)|May 14, 2023

Mental Health via WritingPsychology被引用数 3

ひとこと要約

本稿では、視覚的注意を有するフェデレーテッドレコメンダーシステムを、ターゲットアイテムのプロモーションを目的とした微細な画像変更によって操作する新規な画像ポイズニング攻撃PSMU(V)を提案する。また、拡散モデルを活用した防御手法GDMPDを導入し、攻撃的画像の修復と検出を実現する。この防御手法は、偽陽性を一切発生させず100%の検出精度を達成し、画像ポイズニング攻撃およびモデルポイズニング攻撃の両方を効果的に無効化する。

ABSTRACT

Federated recommender systems (FedRecs) have been widely explored recently due to their ability to protect user data privacy. In FedRecs, a central server collaboratively learns recommendation models by sharing model public parameters with clients, thereby offering a privacy-preserving solution. Unfortunately, the exposure of model parameters leaves a backdoor for adversaries to manipulate FedRecs. Existing works about FedRec security already reveal that items can easily be promoted by malicious users via model poisoning attacks, but all of them mainly focus on FedRecs with only collaborative information (i.e., user-item interactions). We argue that these attacks are effective because of the data sparsity of collaborative signals. In practice, auxiliary information, such as products' visual descriptions, is used to alleviate collaborative filtering data's sparsity. Therefore, when incorporating visual information in FedRecs, all existing model poisoning attacks' effectiveness becomes questionable. In this paper, we conduct extensive experiments to verify that incorporating visual information can beat existing state-of-the-art attacks in reasonable settings. However, since visual information is usually provided by external sources, simply including it will create new security problems. Specifically, we propose a new kind of poisoning attack for visually-aware FedRecs, namely image poisoning attacks, where adversaries can gradually modify the uploaded image to manipulate item ranks during FedRecs' training process. Furthermore, we reveal that the potential collaboration between image poisoning attacks and model poisoning attacks will make visually-aware FedRecs more vulnerable to being manipulated. To safely use visual information, we employ a diffusion model in visually-aware FedRecs to purify each uploaded image and detect the adversarial images.

研究の動機と目的

• フェデレーテッドレコメンダーシステム（FedRecs）に視覚的情報を統合することで、データスパarsityに起因する既存のモデルポイズニング攻撃を軽減できるかを調査すること。
• 特に画像ポイズニング攻撃を通じて、外部の視覚的データがFedRecsにもたらす新たなセキュリティ上の脆弱性を同定すること。
• 視覚的注意を有するFedRecsにおいて、攻撃的画像の修復と検出が可能な、訓練を要しない堅牢な防御メカニズムを設計すること。
• 画像ポイズニング攻撃とモデルポイズニング攻撃の相乗効果を評価し、マルチモodalなFedRecsにおける脅威の表面が拡大することを示すこと。
• 提案された攻撃および防御フレームワークの有効性と一般化能力を、実世界のデータセットおよび複数のFedRecアーキテクチャ上で検証すること。

提案手法

• フェデレーテッドトレーニング中にアイテムランクを操作できるように、徐々に変更されたアップロード画像を操作する新規な画像ポイズニング攻撃PSMU(V)を提案。
• 攻撃的画像を元の状態に回復させるためのコアな修復メカニズムとして、ノイズ除去拡散確率的モデル（DDPM）を採用。
• 元画像と修復画像の間の忠実性と一貫性を向上させるために、拡散モデルにガイドランス機構を導入。
• 正常画像の類似度スコアから導出されるしきい値ρを用いた、訓練を要しない類似度ベースの検出手法を提案。
• 攻撃の不顕著性を検証するため、画像品質の乖離度を評価する指標としてBrisqueとぼけ度スコアの標準偏差を用いる。
• PSMU(V)と既存のモデルポイズニング攻撃（例：PSMU++）を統合した共同攻撃フレームワークを採用し、操作効果を強化。

実験結果

リサーチクエスチョン

• RQ1 FedRecsに視覚的情報を統合することで、データスパarsityに依存する既存のモデルポイズニング攻撃を効果的に無効化できるか？
• RQ2 視覚的注意を有するFedRecsにおいて、外部の視覚的データの導入がもたらす新たな攻撃表面は何か？
• RQ3 拡散モデルベースの修復メカニズムは、FedRecsにおける攻撃的画像の検出と除去にどの程度有効か？
• RQ4 画像ポイズニング攻撃とモデルポイズニング攻撃を組み合わせることで、より強力かつ不顕著な脅威を創出できるか？
• RQ5 提案された防御メカニズムは、異なる摂動スケール（ε）および実世界のデータ分布下でも頑健か？

主な発見

• PSMU++などの既存のモデルポイズニング攻撃は、データスパarsityを緩和する視覚的信号のおかげで、視覚的注意を有するFedRecsではターゲットアイテムをプロモートできない。
• 提案されたPSMU(V)画像ポイズニング攻撃は、MLおよびAZの両データセットで100%の効果（ER@5 = 1.0）を達成し、高スケールの摂動（ε = 32）下でも効果を示した。
• GDMPD防御メカニズムを適用した場合、全ε値でER@5が0.0に低下し、攻撃の完全な抑制が確認された。
• ρ = ρ₀（正常画像からの最小類似度スコア）を用いた検出手法は72%の精度を達成し、正常画像では偽陽性が一切発生しなかった。
• 最良の検出しきい値ρ₁ = 0.69を用いることで100%の精度を達成し、最適なパrameterチューニングによる手法の実現可能性を確認した。
• 可視化結果から、拡散モデルは高スケールのノイズ（ε = 16, 32）を効果的に除去できており、ガイドランス付きバージョンは非ガイドド修復に比べて画像の忠実度が向上している。