[논문 리뷰] Decentralized Collaborative Learning Framework for Next POI Recommendation

Jing Long, Tong Chen외 2명|arXiv (Cornell University)|2022. 03. 30.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 다음 장소 추천을 위한 탈중앙화된 공동 학습 프레임워크인 DCLR을 제안한다. 이 프레임워크는 사용자가 현지에서 개인화된 모델을 학습하면서도 지리적·의미적으로 유사한 동료로부터 공동으로 학습할 수 있도록 한다. POI 임베딩에 대한 자기지도 사전학습과 다양한 이웃으로부터의 주의 기반 상호정보 기반의 지식 집약을 활용하여 DCLR는 강력한 프라이버시 보호와 클라우드 의존도 감소를 동시에 달성하며, 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Next Point-of-Interest (POI) recommendation has become an indispensable functionality in Location-based Social Networks (LBSNs) due to its effectiveness in helping people decide the next POI to visit. However, accurate recommendation requires a vast amount of historical check-in data, thus threatening user privacy as the location-sensitive data needs to be handled by cloud servers. Although there have been several on-device frameworks for privacy-preserving POI recommendations, they are still resource-intensive when it comes to storage and computation, and show limited robustness to the high sparsity of user-POI interactions. On this basis, we propose a novel decentralized collaborative learning framework for POI recommendation (DCLR), which allows users to train their personalized models locally in a collaborative manner. DCLR significantly reduces the local models' dependence on the cloud for training, and can be used to expand arbitrary centralized recommendation models. To counteract the sparsity of on-device user data when learning each local model, we design two self-supervision signals to pretrain the POI representations on the server with geographical and categorical correlations of POIs. To facilitate collaborative learning, we innovatively propose to incorporate knowledge from either geographically or semantically similar users into each local model with attentive aggregation and mutual information maximization. The collaborative learning process makes use of communications between devices while requiring only minor engagement from the central server for identifying user groups, and is compatible with common privacy preservation mechanisms like differential privacy. We evaluate DCLR with two real-world datasets, where the results show that DCLR outperforms state-of-the-art on-device frameworks and yields competitive results compared with centralized counterparts.

연구 동기 및 목표

• 민감한 체크인 데이터의 클라우드 스토리지 및 처리에 의존하는 중심화된 장소 추천 시스템이 겪는 프라이버시, 확장성, 내구성 문제를 해결하기 위해.
• 지리적 근접성과 카테고리 태그 기반의 자기지도 신호를 사용하여 사전학습을 통해 현장 기반 장소 추천의 데이터 희소성 문제를 해결하기 위해.
• 중앙 모델에 의존하지 않고 사용자가 유사한 동료로부터 공동으로 학습할 수 있도록 가벼운 탈중앙화 프레임워크를 통해 개인화되고 고성능의 장소 추천을 가능하게 하기 위해.
• 모델 전송을 최소화하고 공동 지식 집약을 통해 효율적인 현지 학습을 가능하게 함으로써 클라우드 및 현지 기기의 계산 및 스토리지 비용을 줄이기 위해.

제안 방법

• 좌표 정보를 사용하여 POI 간 지리적 거리를 예측하고, POI 카테고리와 관련 태그 간 상호정보를 최대화하는 두 가지 자기지도 사전학습 목표를 사용하여 POI 표현을 사전학습한다.
• 각 사용자에 대해 두 가지 유형의 이웃을 식별한다: (1) 지리적으로 가까운 사용자, (2) 임베딩 유사도 기반으로 유사한 POI 카테고리 선호도를 가진 사용자.
• 학습 가능한 주의 게이트를 사용하여 두 유형의 이웃에서 온 지식을 조합하는 주의 기반 집약 메커니즘을 적용한다.
• 로컬 모델 표현과 집약된 이웃 특징 간 상호정보를 최대화하여 지식 전이 및 표현 품질을 향상시킨다.
• 오직 모델 파rameter(원시 데이터가 아님)만 기기 간 교환되며, 중앙 서버는 초기 모델 배포 및 사용자 그룹화 기능만 담당하는 경량 통신 프로토콜을 사용한다.
• 협동 학습 중 사용자 프라이버시를 보호하기 위해 통신 과정에 미세한 차별 보존 기법을 통합한다.

실험 결과

연구 질문

• RQ1 지리적 및 카테고리적 POI 특징에 대한 자기지도 사전학습이 현장 기반 장소 추천의 데이터 희소성 문제를 효과적으로 완화할 수 있는가?
• RQ2 지리적·의미적으로 유사한 사용자로부터의 협동 학습이 로컬 전용 학습 대비 개인화된 추천 정확도를 얼마나 향상시키는가?
• RQ3 탈중앙화 프레임워크가 중심화된 모델과 비교해 성능을 유지하면서 클라우드 인프라 의존도를 얼마나 줄일 수 있는가?
• RQ4 상호정보 최대화와 주의 기반 집약의 통합이 탈중앙화 공동 학습에서 지식 전이를 얼마나 향상시키는가?
• RQ5 다른 이웃 식별 전략(지리적 vs. 선호도 기반)이 추천 성능과 프라이버시에 어떤 영향을 미치는가?

주요 결과

• DCLR는 데이터 희소성과 제한된 현지 계산 자원 조건에서도 최신 기술 수준의 현장 기반 프레임워크보다 다음 장소 추천 정확도에서 뛰어난 성능을 보였다.
• 제안된 자기지도 사전학습 작업은 POI 표현 품질을 크게 향상시켰으며, 분석 실험을 통해 후속 추천 작업에서 명확한 성능 향상이 확인되었다.
• 지리적 및 의미적으로 유사한 이웃 양쪽 모두로부터의 협동 학습은 한 종류의 이웃만 사용하는 것보다 더 우수한 모델 일반화 성능을 제공한다.
• 주의 기반 집약 메커니즘은 서로 다른 이웃 유형의 기여도를 효과적으로 균형 잡아 모델의 강건성과 추천 정확도를 향상시켰다.
• 오직 모델 파rameter만 공유되며 원시 체크인 데이터 유출이 최소화되므로, DCLR는 강력한 프라이버시 보장을 유지한다.
• 제한된 현지 데이터 조건에서도 중심화된 모델과 경쟁 가능한 성능을 달성함으로써, 탈중앙화되고 프라이버시를 보장하는 추천의 효과성을 입증했다.