[論文レビュー] Robust Federated Contrastive Recommender System against Model Poisoning Attack

Wei Yuan, Chaoqun Yang+4 more|arXiv (Cornell University)|Mar 29, 2024

Spam and Phishing Detection被引用数 4

ひとこと要約

本稿では、人気度に基づく対照的正則化子を導入することで、性能を向上させるとともにモデル汚染攻撃に耐性を持つ、耐障害性の高いフェデレーテッド対照的レコメンデーションシステム rCL4FedRec を提案する。従来の手法とは異なり、個人のパラメータを共有しないことでクライアントのプライバシーを保ち、合成された負例ユーザーとノイズ付加されたビューを用いることで、セキュリティや耐障害性を損なわずに表現学習を向上させる。

ABSTRACT

Federated Recommender Systems (FedRecs) have garnered increasing attention recently, thanks to their privacy-preserving benefits. However, the decentralized and open characteristics of current FedRecs present two dilemmas. First, the performance of FedRecs is compromised due to highly sparse on-device data for each client. Second, the system's robustness is undermined by the vulnerability to model poisoning attacks launched by malicious users. In this paper, we introduce a novel contrastive learning framework designed to fully leverage the client's sparse data through embedding augmentation, referred to as CL4FedRec. Unlike previous contrastive learning approaches in FedRecs that necessitate clients to share their private parameters, our CL4FedRec aligns with the basic FedRec learning protocol, ensuring compatibility with most existing FedRec implementations. We then evaluate the robustness of FedRecs equipped with CL4FedRec by subjecting it to several state-of-the-art model poisoning attacks. Surprisingly, our observations reveal that contrastive learning tends to exacerbate the vulnerability of FedRecs to these attacks. This is attributed to the enhanced embedding uniformity, making the polluted target item embedding easily proximate to popular items. Based on this insight, we propose an enhanced and robust version of CL4FedRec (rCL4FedRec) by introducing a regularizer to maintain the distance among item embeddings with different popularity levels. Extensive experiments conducted on four commonly used recommendation datasets demonstrate that CL4FedRec significantly enhances both the model's performance and the robustness of FedRecs.

研究の動機と目的

• 高度に制限されたデバイス内ユーザーデータによるデータスパarsity の問題に取り組むこと。
• 悪意あるクライアントがグローバルモデルの更新を操作するモデル汚染攻撃に対して脆弱なフェデレーテッドレコメンデーションシステム（FedRecs）の課題を克服すること。
• プライベートクライアントパラメータの共有を必要とせず、標準的な FedRec プロトコルと互換性を持つ対照的学習フレームワークを設計すること。
• 対照的学習が埋め込みの均一性を高めることで耐障害性を悪化させるという直感に反する問題を特定・解決すること。
• 人気度の異なるアイテムの埋め込み間の距離を維持する人気度に配慮した正則化子を提案することで、性能と耐障害性の両方を向上させること。

提案手法

• 中央サーバー上で合成された負例ユーザーを構築し、実際のクライアントのユーザー埋め込みに対する負例ビューとして機能させることで、プライベートデータを共有せずにユーザー単位の対照的学習を可能にする。
• ユーザー埋め込みに軽量な一様ノイズを適用して正例ペアを生成することで、表現の多様性を向上させる。
• 局所的な相互作用データに基づいて、2つの異なるビューのアイテム埋め込みを近似的に最適化することで、アイテム単位の対照的学習を可能にする。
• 人気度に基づく対照的正則化子を導入し、人気のあるアイテムと人気のないアイテムの埋め込みが離れすぎないようにモデルをペナルティ化することで、対照的学習が引き起こす均一性を是正する。
• プライベートユーザー埋め込みをローカルに保ち、公開されたアイテム埋め込みのみを共有することで、標準的な FedRec 学習と互換性を保つ。
• グローバルなアイテム相互作用頻度から導かれる人気度スコアを用いて正則化子を定式化し、高頻度と低頻度のアイテム表現の分離を促進する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドレコメンデーションシステムにおいて、プライバシー制約を守りつつ、プライベートパラメータの共有を必要とせずに対照的学習を効果的に適用できるか。
• RQ2 FedRec における対照的学習の使用が、意図せずモデル汚染攻撃に対する脆弱性を増大させる原因となるのか、その理由は何か。
• RQ3 人気度に基づく正則化子が、対照的学習によるモデル耐障害性への悪影響をどの程度軽減できるか。
• RQ4 合成ユーザー、ノイズ付加、アイテムビュー手法などの異なるビュー構築戦略が、最終的なレコメンデーション性能にどのように影響するか。
• RQ5 対照的学習フレームワークにおいて、パフォーマンスと耐障害性のバランスを取るために最適な合成ユーザーの数は何か。

主な発見

• FedRec における対照的学習は埋め込みの均一性を高め、特に汚染されたターゲットアイテムの埋め込みが人気のあるアイテムに近づくため、モデル汚染攻撃に対する脆弱性を増大させる。
• 提案された rCL4FedRec フレームワークは、レコメンデーション性能を顕著に向上させ、MovieLens-1M においてベースライン（正則化子なし）を上回る Recall@20 0.04836 を達成した。
• 人気度に基づく正則化子を削除すると Recall@20 は 0.04656 に低下し、正則化子が性能と耐障害性の両面で不可欠であることが示された。
• アブレーションスタディの結果、ユーザー対照的学習、アイテム対照的学習、正則化子のすべてのコンポーネントが性能向上に寄与しており、特に正則化子が最も大きな影響を及ぼした。
• 最適な合成ユーザー数は、MovieLens-1M で 60、Amazon-Video で 10 であり、それ以上に増やすと過剰正則化や対照的学習におけるノイズの影響により性能が低下する。
• rCL4FedRec は、汚染攻撃下でも性能と耐障害性の両方を向上させる唯一の防御手法であり、HiCS などの最先端防御手法を両方の指標で上回った。