[논문 리뷰] Robust Federated Contrastive Recommender System against Model Poisoning Attack

Wei Yuan, Chaoqun Yang외 4명|arXiv (Cornell University)|2024. 03. 29.

Spam and Phishing Detection인용 수 4

한 줄 요약

이 논문은 개인 정보 보호를 위해 비밀 파arameter 공유를 피하고, 합성 음성 사용자 및 노이즈 증강된 뷰를 사용하여 보안성과 강건성을 해치지 않으면서 표현 학습을 향상시키기 위해 인기 기반의 대비 정규화자를 도입함으로써 성능을 향상시키고 모델 풀링 공격에 저항하는 강건한 분산 대비 추천 시스템 rCL4FedRec을 제안한다. 기존 방법과 달리, 이는 비밀 개인 정보를 공유하지 않아도 되는 개인 정보 보호를 유지한다.

ABSTRACT

Federated Recommender Systems (FedRecs) have garnered increasing attention recently, thanks to their privacy-preserving benefits. However, the decentralized and open characteristics of current FedRecs present two dilemmas. First, the performance of FedRecs is compromised due to highly sparse on-device data for each client. Second, the system's robustness is undermined by the vulnerability to model poisoning attacks launched by malicious users. In this paper, we introduce a novel contrastive learning framework designed to fully leverage the client's sparse data through embedding augmentation, referred to as CL4FedRec. Unlike previous contrastive learning approaches in FedRecs that necessitate clients to share their private parameters, our CL4FedRec aligns with the basic FedRec learning protocol, ensuring compatibility with most existing FedRec implementations. We then evaluate the robustness of FedRecs equipped with CL4FedRec by subjecting it to several state-of-the-art model poisoning attacks. Surprisingly, our observations reveal that contrastive learning tends to exacerbate the vulnerability of FedRecs to these attacks. This is attributed to the enhanced embedding uniformity, making the polluted target item embedding easily proximate to popular items. Based on this insight, we propose an enhanced and robust version of CL4FedRec (rCL4FedRec) by introducing a regularizer to maintain the distance among item embeddings with different popularity levels. Extensive experiments conducted on four commonly used recommendation datasets demonstrate that CL4FedRec significantly enhances both the model's performance and the robustness of FedRecs.

연구 동기 및 목표

• 매우 제한된 기기 내 사용자 데이터로 인해 발생하는 분산 추천 시스템(FedRecs)의 데이터 희소성 문제를 해결한다.
• 악성 클라이언트가 글로벌 모델 업데이트를 조작함으로써 영향을 받는 분산 추천 시스템의 취약성을 극복한다.
• 비밀 클라이언트 파라미터 공유가 필요 없는 표준 FedRec 프로토콜과 호환되는 대비 학습 프레임워크를 설계한다.
• 대비 학습이 표현의 균일성을 증가시켜 강건성을 악화시킬 수 있는 역설적인 문제를 식별하고 해결한다.
• 다른 인기 수준의 항목 간 거리를 유지하기 위해 인기 인지 정규화자를 제안함으로써 성능과 강건성을 모두 향상시킨다.

제안 방법

• 중앙 서버에서 실제 클라이언트의 사용자 표현을 위한 음성 뷰로 사용할 합성 음성 사용자를 구성함으로써, 개인 정보를 공유하지 않고도 사용자 수준의 대비 학습을 가능하게 한다.
• 사용자 표현에 경량의 균일한 노이즈를 적용하여 양성 뷰 쌍을 생성함으로써 표현의 다양성을 향상시킨다.
• 로컬 상호작용 데이터를 기반으로 두 개의 서로 다른 항목 표현 뷰를 생성하기 위해 근사 최적화를 적용함으로써 항목 수준의 대비 학습을 가능하게 한다.
• 인기 있는 항목과 인기 없는 항목의 표현 간 거리가 너무 가까워지지 않도록 하는 인기 기반의 대비 정규화자를 도입하여, 대비 학습이 유도하는 균일성을 상쇄한다.
• 비밀 사용자 표현을 로컬에 유지하고 공개된 항목 표현만 공유함으로써 표준 FedRec 학습과의 호환성을 확보한다.
• 글로벌 항목 상호작용 빈도에서 유도된 인기 점수를 사용하여 정규화자를 수식화함으로써 고인기 및 저인기 항목 표현 간의 분리를 장려한다.

실험 결과

연구 질문

• RQ1 비밀 파arameter 공유 없이 개인정보 보호 제약 조건을 위반하지 않고도 분산 추천 시스템에 대비 학습을 효과적으로 적용할 수 있는가?
• RQ2 FedRecs에서 대비 학습을 사용할 경우 의도치 않게 모델 풀링 공격에 더 취약해지며, 만약 그렇다면 그 이유는 무엇인가?
• RQ3 인기 기반 정규화자가 대비 학습의 모델 강건성에 악영향을 미치는 것을 어느 정도 완화할 수 있는가?
• RQ4 다양한 뷰 구성 전략(예: 합성 사용자, 노이즈 증강, 항목 뷰 방법)이 최종 추천 성능에 어떤 영향을 미치는가?
• RQ5 대비 학습 프레임워크에서 성능과 강건성을 균형 잡기 위해 최적의 합성 사용자 수는 얼마인가?

주요 결과

• FedRecs에서의 대비 학습은 표현의 균일성을 증가시켜 모델을 모델 풀링 공격에 더 취약하게 만들며, 특히 오염된 타겟 항목 표현이 인기 있는 항목과 가까워지기 때문이다.
• 제안된 rCL4FedRec 프레임워크는 추천 성능을 크게 향상시켜 MovieLens-1M에서 Recall@20가 0.04836에 도달하여 정규화자가 없는 베이스라인을 능가한다.
• 인기 기반 정규화자를 제거하면 Recall@20가 0.04656으로 감소하여, 정규화자가 성능과 강건성 모두에 필수적임을 입증한다.
• 제거 실험 결과, 사용자 대비 학습, 항목 대비 학습, 정규화자 모두 성능에 기여하며, 특히 정규화자가 가장 큰 영향을 미친다.
• 최적의 합성 사용자 수는 MovieLens-1M에서 60명, Amazon-Video에서 10명이며, 이를 초과하면 과도한 정규화 또는 대비 학습의 노이즈로 성능이 저하된다.
• rCL4FedRec는 오직 유일하게 모델 성능과 강건성을 모두 향상시키는 방어 방법으로, HiCS와 같은 최첨단 방어 방법보다 두 성능 지표에서 모두 뛰어나다.