[논문 리뷰] PPGenCDR: A Stable and Robust Framework for Privacy-Preserving Cross-Domain Recommendation

Xinting Liao, Weiming Liu외 3명|arXiv (Cornell University)|2023. 05. 11.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

PPGenCDR는 기존의 지식 전이 과정에서 사용자 프라이버시를 간과하는 문제를 해결하기 위해 제안된 프라이버시 보장형 크로스도메인 추천을 위한 새로운 프레임워크이다. 이 프레임워크는 안정적인 RDP-정규화된 GAN 기반 생성기로 소스 도메인의 사용자-아이템 상호작용을 모델링하고 프라이버시를 보장하며, 강력한 추천 모듈은 왜곡된 지식을 활용하여 타겟 도메인 성능을 향상시킨다. 이는 이전의 방법들보다 Douban에서 최소 13.03% 높은 HR@5와 Amazon에서 6.05% 높은 성능을 기록하며 최고의 성능을 달성하였고, 강력한 프라이버시 보장을 확보하였다.

ABSTRACT

Privacy-preserving cross-domain recommendation (PPCDR) refers to preserving the privacy of users when transferring the knowledge from source domain to target domain for better performance, which is vital for the long-term development of recommender systems. Existing work on cross-domain recommendation (CDR) reaches advanced and satisfying recommendation performance, but mostly neglects preserving privacy. To fill this gap, we propose a privacy-preserving generative cross-domain recommendation (PPGenCDR) framework for PPCDR. PPGenCDR includes two main modules, i.e., stable privacy-preserving generator module, and robust cross-domain recommendation module. Specifically, the former isolates data from different domains with a generative adversarial network (GAN) based model, which stably estimates the distribution of private data in the source domain with Renyi differential privacy (RDP) technique. Then the latter aims to robustly leverage the perturbed but effective knowledge from the source domain with the raw data in target domain to improve recommendation performance. Three key modules, i.e., (1) selective privacy preserver, (2) GAN stabilizer, and (3) robustness conductor, guarantee the cost-effective trade-off between utility and privacy, the stability of GAN when using RDP, and the robustness of leveraging transferable knowledge accordingly. The extensive empirical studies on Douban and Amazon datasets demonstrate that PPGenCDR significantly outperforms the state-of-the-art recommendation models while preserving privacy.

연구 동기 및 목표

• 기존의 크로스도메인 추천 시스템에서 지식 전이 과정에서 사용자 프라이버시를 간과하는 심각한 격차를 해결하기 위해.
• 소스 도메인에서 타겟 도메인으로 상호작용 데이터를 전이할 때 사용자 프라이버시를 보존하는 안정적이고 강건한 프레임워크를 개발하기 위해.
• 크로스도메인 환경에서 프라이버시 보호와 추천 유용성 사이의 효과적인 트레이드오프를 달성하기 위해.
• 학습 중 레니 지수 차별적 프라이버시(Rényi differential privacy, RDP) 제약 조건 하에서 GAN 기반 모델의 안정성을 확보하기 위해.
• 소스 도메인에서 왜곡된 프라이버시 보장 데이터를 활용할 때 타겟 도메인 추천 모델의 강건성을 향상시키기 위해.

제안 방법

• 안정적인 프라이버시 보장 생성 모듈은 레니 지수 차별적 프라이버시(RDP)를 적용한 GAN 아키텍처를 사용하여 소스 도메인 내 개인 정보가 포함된 사용자-아이템 상호작용의 분포를 모델링하고 프라이버시를 보장한다.
• 선택적 프라이버시 보존기(SPP)는 원시 데이터에 직접 액세스하는 모델 레이어에만 RDP를 적용하여 노이즈 주입을 최소화하고 유용성을 유지하면서도 이론적 프라이버시 보장을 확보한다.
• GAN 안정화기(GS)는 제어 이론 기반 정규화를 도입하여 디세크리미네이터 목표 함수의 안정성을 향상시켜 RDP 왜곡에 의한 GAN 수렴을 개선한다.
• 강건성 조율기(RC)는 미니배치 내 부서진 표현을 분리하는 유연한 플러그인 역할을 하여, 왜곡된 소스 데이터를 사용할 때 모델의 강건성을 향상시킨다.
• SPP, GS, RC 세 가지 핵심 모듈을 통합한 유일한 파ip라인을 구성하여 프라이버시, 안정성, 성능 간 균형을 확보한다.
• 후처리 및 체인 규칙을 활용하여 전체 프라이버시 예산을 공식적으로 보장함으로써 종단 간 차별적 프라이버시 준수를 확보한다.

실험 결과

연구 질문

• RQ1 크로스도메인 추천에서 추천 성능을 크게 떨어뜨리지 않으면서도 사용자 프라이버시를 효과적으로 보존할 수 있는 방법은 무엇인가?
• RQ2 모델 최적화 과정에서 기울기의 레니 지수 차별적 프라이버시(RDP) 적용 시 GAN 학습을 어떻게 안정화시킬 수 있는가?
• RQ3 강력한 추천 모듈은 소스 도메인에서 유래한 왜곡된 프라이버시 보장 데이터를 얼마나 잘 적응하고 활용할 수 있는가?
• RQ4 크로스도메인 환경에서 프라이버시 예산, 모델 안정성, 추천 유용성 간 최적의 트레이드오프는 무엇인가?
• RQ5 제안된 프레임워크는 최고 수준의 프라이버시 보장 추천 모델 대비 프라이버시와 성능 측면에서 어떻게 비교되는가?

주요 결과

• PPGenCDR는 Douban 데이터셋에서 기존 최고 성능 모델인 PriCDR 대비 최소 13.03% 높은 HR@5 성능을 기록하였고, Amazon 데이터셋에서는 6.05% 향상되었다.
• 선택적 프라이버시 보존기(SPP)는 데이타에 액세스하는 레이어에만 RDP를 적용하여 노이즈 주입을 줄였고, 이로 인해 유용성은 향상되었고 강력한 프라이버시 보장은 유지되었다.
• GAN 안정화기(GS)는 RDP 왜곡으로 인한 학습 불안정성을 효과적으로 완화하여 생성기와 디세크리미네이터의 안정적 수렴을 가능케 하였다.
• 강건성 조율기(RC)는 타겟 도메인에서 성능 향상을 크게 개선하였으며, 추론 분석 결과 RC를 제거했을 경우 성능 저하가 GS를 제거했을 경우보다 더 심각한 것으로 나타났다.
• PPGenCDR는 모든 테스트된 희소성 수준에서 뛰어난 성능을 유지하여 소스 도메인의 데이터 부족 상황에서도 강건함을 입증하였다.
• 하이퍼파rameter 분석 결과 최적의 성능는 λ_A=1, τ=2, λ_R=0.5에서 달성되었고, 다양한 값 범위에서도 성능가 안정적으로 유지되었다.