[논문 리뷰] A Federated Multi-View Deep Learning Framework for Privacy-Preserving Recommendations

Mingkai Huang, Hao Li외 4명|arXiv (Cornell University)|2020. 08. 25.

Privacy-Preserving Technologies in Data참고 문헌 23인용 수 16

한 줄 요약

이 논문은 냉각 시작 문제를 해결하면서 다수의 사용자 데이터 소스로부터 공동으로 학습함으로써 개인정보 보호 추천을 향상시키는 새로운 피어드된 다중 시각 딥 러닝 프레임워크인 FL-MV-DSSM을 제안한다. Deep Structured Semantic Models(DSSM)를 피어드된 다중 시각 환경으로 확장함으로써, 중앙 집중식 학습에 가까운 성능을 달성하면서도 새로운 집계 및 개인정보 보호 메커니즘을 통해 보안을 확보한다.

ABSTRACT

Privacy-preserving recommendations are recently gaining momentum, since the decentralized user data is increasingly harder to collect, by recommendation service providers, due to the serious concerns over user privacy and data security. This situation is further exacerbated by the strict government regulations such as Europe's General Data Privacy Regulations(GDPR). Federated Learning(FL) is a newly developed privacy-preserving machine learning paradigm to bridge data repositories without compromising data security and privacy. Thus many federated recommendation(FedRec) algorithms have been proposed to realize personalized privacy-preserving recommendations. However, existing FedRec algorithms, mostly extended from traditional collaborative filtering(CF) method, cannot address cold-start problem well. In addition, their performance overhead w.r.t. model accuracy, trained in a federated setting, is often non-negligible comparing to centralized recommendations. This paper studies this issue and presents FL-MV-DSSM, a generic content-based federated multi-view recommendation framework that not only addresses the cold-start problem, but also significantly boosts the recommendation performance by learning a federated model from multiple data source for capturing richer user-level features. The new federated multi-view setting, proposed by FL-MV-DSSM, opens new usage models and brings in new security challenges to FL in recommendation scenarios. We prove the security guarantees of \xxx, and empirical evaluations on FL-MV-DSSM and its variations with public datasets demonstrate its effectiveness. Our codes will be released if this paper is accepted.

연구 동기 및 목표

• 다양한 사용자 데이터 시각에서의 콘텐츠 기반 특징을 활용하여 피어드된 추천 시스템에서의 냉각 시작 문제를 해결한다.
• 원시 데이터를 중앙 집중화하지 않고도 다양한 데이터 소스에서 더 풍부한 사용자 수준의 특징을 융합하여 피어드 환경에서의 추천 성능을 향상시킨다.
• 다양한 애플리케이션(예: 게임 및 앱 마켓 등) 간에서 협업 학습이 가능하면서도 데이터 프라이버시를 유지하는 새로운 피어드된 다중 시각 학습 파라다임을 도입한다.
• 다양한 데이터 소스와 모델 구성 요소 간의 데이터 泄露를 방지함으로써, 새로운 피어드된 다중 시각 환경에서 강력한 보안 보장을 확보한다.
• 공개 데이터셋을 활용한 실험적 평가를 통해 프레임워크의 효과성을 입증하며, 중앙 집중식 학습에 근접한 성능을 보여준다.

제안 방법

• 딥 구조적 의미 모델(DSSM)을 피어드된 다중 시각 프레임워크(FL-MV-DSSM)로 변환하여 분산 환경에서의 콘텐츠 기반 추천을 가능하게 한다.
• 다양한 시각에서 온 로컬 사용자 모델을 안전하게 통합하면서도 모든 사용자 간에 단일 항목 서브모델을 공유하는 새로운 피어드 집계 메커니즘을 설계한다.
• 공유된 항목 서브모델만 집계하는 반-피어드(세미-피어드) 변형(SEMI-FL-MV-DSSM)를 구현하여 통신량을 줄이고 수렴 안정성을 향상시킨다.
• 차별적 프라이버시와 안전한 집계 기법을 적용하여 모델 업데이트를 보호하고 다양한 데이터 소스 간의 정보 泄露를 방지한다.
• 다양한 애플리케이션에서 온 여러 사용자 시각(예: 다른 앱에서의 정보)을 활용하여 사용자 표현을 풍부하게 하고, 더 나은 일반화 및 냉각 시작 성능을 달성한다.
• 개인화된 사용자 서브모델과 공유된 항목 서브모델을 갖춘 FedAvg 스타일 집계를 사용하여 확장 가능하고 개인정보 보호에 적합한 학습을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 분산된 데이터 소스에서 온 사용자 특징을 통합함으로써 피어드된 다중 시각 프레임워크가 추천 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 제안된 FL-MV-DSSM 프레임워크는 기존의 피어드된 협업 필터링 방법에 비해 신규 사용자 및 신규 항목의 냉각 시작 문제를 어떻게 완화하는가?
• RQ3 다중 시각 추천에서 피어드된 학습과 중앙 집중식 학습 간의 성능 격차는 얼마이며, 효과적인 모델 집계를 통해 이를 최소화할 수 있는가?
• RQ4 피어드된 다중 시각 추천에서 발생하는 새로운 보안 과제는 무엇이며, 이를 통해 서로 다른 소스 간의 데이터 泄露를 방지할 수 있는가?
• RQ5 사용자 서브모델의 전체 피어드 집계 대비 항목 서브모델만을 반-피어드로 집계하는 것이 더 높은 성능과 안정성을 제공하는가?

주요 결과

• 100개의 학습 라운드 후 MovieLens 데이터셋에서 FL-MV-DSSM는 Precision@10이 0.2845 ± 0.0034를 기록하며, FL-DSSM(0.2691 ± 0.0015)를 크게 앞서고, 일부 지표에서는 중앙 집중식 DSSM(View-1)의 성능과도 맞먹는다.
• SEMI-FL-MV-DSSM는 모든 FedRec 알고리즘 중에서 가장 높은 추천 성능을 기록했으며, Precision@10이 0.3512 ± 0.0070, AUC가 0.8986 ± 0.0051로, 60라운드 후에는 일부 중앙 집중식 DSSM 기반 모델을 초월한다.
• 프레임워크는 냉각 시작 문제를 효과적으로 해결하며, 신규 사용자에 대해서도 뛰어난 성능( Precision@10: 0.2845 ± 0.0034)을 보이며, 기존의 FedRec 방법(FCF: 0.3010 ± 0.0032, FED-MVMF: 0.3223 ± 0.0017)을 뛰어넘는다.
• 실험 결과 다중 시각 학습이 모델 일반화 능력을 크게 향상시키며, 중앙 집중식 학습에서 View-2 DSSM는 View-1보다 높은 성능(Precision@10: 0.3980 ± 0.0025)을 기록했다.
• 반-피어드 변형(SEMI-FL-MV-DSSM)은 사용자 선택의 랜덤성 감소로 인해 성능의 분산이 낮아져 학습 안정성이 향상됨을 보여준다.
• 보안 분석 결과, 프레임워크는 다양한 데이터 소스 간의 데이터 泄露를 방지함으로써, 다중 애플리케이션 추천 시나리오에서의 실질적 구현에 적합함을 확인했다.