[논문 리뷰] Semi-decentralized Federated Ego Graph Learning for Recommendation

Liang Qu, Ningzhi Tang외 5명|arXiv (Cornell University)|2023. 02. 10.

Recommender Systems and Techniques인용 수 4

한 줄 요약

이 논문은 중앙 서버에 의존하지 않고 예측된 가짜 공통 아이템을 통해 고립된 이고 그래프를 연결함으로써 통신 비용을 줄이고 프라이버시를 보장하는 차량 내 추천을 가능하게 하는 반분산형 페더레이티드 이고 그래프 학습 프레임워크인 SemiDFEGL을 제안한다. 이 방법은 기존의 GNN 및 프라이버시 기법과 호환되며, 세 가지 공개 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Collaborative filtering (CF) based recommender systems are typically trained based on personal interaction data (e.g., clicks and purchases) that could be naturally represented as ego graphs. However, most existing recommendation methods collect these ego graphs from all users to compose a global graph to obtain high-order collaborative information between users and items, and these centralized CF recommendation methods inevitably lead to a high risk of user privacy leakage. Although recently proposed federated recommendation systems can mitigate the privacy problem, they either restrict the on-device local training to an isolated ego graph or rely on an additional third-party server to access other ego graphs resulting in a cumbersome pipeline, which is hard to work in practice. In addition, existing federated recommendation systems require resource-limited devices to maintain the entire embedding tables resulting in high communication costs. In light of this, we propose a semi-decentralized federated ego graph learning framework for on-device recommendations, named SemiDFEGL, which introduces new device-to-device collaborations to improve scalability and reduce communication costs and innovatively utilizes predicted interacted item nodes to connect isolated ego graphs to augment local subgraphs such that the high-order user-item collaborative information could be used in a privacy-preserving manner. Furthermore, the proposed framework is model-agnostic, meaning that it could be seamlessly integrated with existing graph neural network-based recommendation methods and privacy protection techniques. To validate the effectiveness of the proposed SemiDFEGL, extensive experiments are conducted on three public datasets, and the results demonstrate the superiority of the proposed SemiDFEGL compared to other federated recommendation methods.

연구 동기 및 목표

• 중앙 집중형 및 스타형 아키텍처의 페더레이티드 추천 시스템에서 발생하는 확장성 및 통신 병목 문제를 해결하기 위해.
• 페더레이티드 이고 그래프 학습에서 고립된 이고 그래프의 한계를 극복하여 고차원의 협업 사용자-아이템 관계를 포착할 수 있도록 하기 위해.
• 완전한 임베딩 테이블 저장을 피하고 중앙 서버나 제3자 서비스에 대한 의존도를 제거함으로써 기기 내 메모리 및 통신 오버헤드를 줄이기 위해.
• 기존의 GNN 기반 추천 모델 및 프라이버시 보호 기법과 원활하게 통합 가능한 모델에 종속되지 않는 프레임워크를 설계하기 위해.

제안 방법

• 중앙 서버에 의존하지 않고 기기 간 직접 협업을 통해 운영되는 반분산형 아키텍처를 도입한다.
• 각 기기의 고립된 이고 그래프를 예측된 가짜 공통 아이템을 통해 연결하여 고차원의 협업 정보를 포착하는 증강된 국소 하위그래프를 형성한다.
• 기기 간 통신을 통해 모델 업데이트 및 협업 지식을 공유함으로써 중앙 집계기 의존도를 낮추고 통신 비용을 절감한다.
• 모델에 종속되지 않는 설계를 유지하여 GCN, GAT, GraphSAGE, LightGCN 등의 다양한 GNN 기반 추천 모델과의 통합을 가능하게 한다.
• 로컬 그래프 증강과 기기 내 학습을 활용하여 사용자 데이터가 기기 내에 유지되도록 하여 프라이버시 누출 위험을 최소화한다.
• 가짜 공통 아이템 생성을 위해 그룹 기반 클러스터링 전략을 활용하여 노이즈 도입과 구조적 정보 확보 간 균형을 이룬다.

실험 결과

연구 질문

• RQ1 중앙 서버 없이도 반분산형 페더레이티드 이고 그래프 학습 프레임워크가 고립된 이고 그래프로부터 고차원 협업 정보를 효과적으로 포착할 수 있는가?
• RQ2 가짜 공통 아이템의 사용이 페더레이티드 이고 그래프 학습에서 모델 성능과 프라이버시 보존에 어떤 영향을 미치는가?
• RQ3 기존의 페더레이티드 추천 시스템과 비교해 제안된 프레임워크가 통신 및 메모리 비용을 얼마나 줄일 수 있는가?
• RQ4 이 프레임워크는 다양한 GNN 기반 추천 모델 및 기존의 프라이버시 보호 메커니즘과 원활하게 통합될 수 있는가?

주요 결과

• SemiDFEGL은 MovieLens-1M, Yelp, Amazon 세 가지 공개 데이터셋에서 기존의 페더레이티드 추천 방법보다 추천 정확도와 강건성 면에서 뛰어난 성능을 달성한다.
• 가짜 공통 아이템 생성 과정에서 100개의 그룹을 사용할 경우 노이즈와 구조적 정보 확보 간 균형이 최적의 성능을 이끌어낸다.
• 사용된 GNN 아키텍처 중 네 번째 레이어를 가진 구조가 가장 우수한 성능을 보였으며, 깊은 네트워크는 과도한 스무딩을 유발할 수 있고 얕은 네트워크는 고차원 그래프 구조를 포착하지 못한다.
• LightGCN을 SemiDFEGL과 통합할 경우 GNN 변종 중에서 가장 높은 성능을 기록했으며, 이는 효율적인 임베딩 학습과 유사한 어텐션 메커니즘 덕분으로 여겨진다.
• 적당한 수의 음성 샘플을 사용하면 성능에 크게 영향을 주지 않으면서 프라이버시를 향상시킬 수 있으나, 과도한 음성 샘플은 노이즈를 유발하여 모델 정확도를 떨어뜨린다.
• 중앙 서버가 필요 없고 전체 임베딩 테이블의 기기 내 저장을 줄임으로써 프레임워크는 뛰어난 확장성과 통신 효율성을 입증했다.