[논문 리뷰] HeteFedRec: Federated Recommender Systems with Model Heterogeneity

Wei Yuan, Liang Qu외 4명|arXiv (Cornell University)|2023. 07. 24.

Recommender Systems and TechniquesComputer Science인용 수 3

한 줄 요약

HeteFedRec는 이질적인 데이터 자원을 가진 클라이언트를 위한 개인화된 모델 크기 조정을 가능하게 하는 새로운 페더레이티드 추천 시스템을 제안한다. 통합 이중 작업 학습과 차원별 상관관계 제거 정규화를 사용하여 서로 다른 크기의 모델을 집계한다. 이는 클라이언트의 데이터 가용성에 맞게 모델 용량을 조정함으로써 동일한 크기의 모델을 강제로 적용하는 기존의 동일한 기반선들보다 뛰어난 성능을 달성한다.

ABSTRACT

Owing to the nature of privacy protection, federated recommender systems (FedRecs) have garnered increasing interest in the realm of on-device recommender systems. However, most existing FedRecs only allow participating clients to collaboratively train a recommendation model of the same public parameter size. Training a model of the same size for all clients can lead to suboptimal performance since clients possess varying resources. For example, clients with limited training data may prefer to train a smaller recommendation model to avoid excessive data consumption, while clients with sufficient data would benefit from a larger model to achieve higher recommendation accuracy. To address the above challenge, this paper introduces HeteFedRec, a novel FedRec framework that enables the assignment of personalized model sizes to participants. In HeteFedRec, we present a heterogeneous recommendation model aggregation strategy, including a unified dual-task learning mechanism and a dimensional decorrelation regularization, to allow knowledge aggregation among recommender models of different sizes. Additionally, a relation-based ensemble knowledge distillation method is proposed to effectively distil knowledge from heterogeneous item embeddings. Extensive experiments conducted on three real-world recommendation datasets demonstrate the effectiveness and efficiency of HeteFedRec in training federated recommender systems under heterogeneous settings.

연구 동기 및 목표

• 기존의 페더레이티드 추천 시스템(FedRecs)이 다양한 데이터 자원을 가진 클라이언트들 사이에서 동일한 모델 크기를 강제로 적용하는 한계를 해결한다.
• 다른 크기의 모델을 공동으로 훈련시켜 클라이언트의 특정 데이터 가용성과 계산 능력에 더 잘 부합하도록 한다.
• 동일한 아키텍처가 필요하지 않은 이질적인 모델 크기를 지원하는 지식 집계 메커니즘을 개발한다.
• 클라이언트의 데이터 볼륨에 맞게 모델 크기를 조정하여 페더레이티드 환경에서 추천 정확도와 효율성을 향상시킨다.
• 정규화 및 전이 기반 기법을 통해 다양한 크기의 모델 간에 안정적인 지식 전이를 보장한다.

제안 방법

• 이질적인 모델 크기 간에 모델 집계와 표현 학습을 동시에 최적화하는 통합 이중 작업 학습 프레임워크를 제안한다.
• 다른 크기의 모델에서 온 아이템 임베딩의 집계 과정에서 특징의 중복성과 차원 붕괴를 방지하기 위해 차원별 상관관계 제거 정규화를 도입한다.
• 사용자-아이템 상호작용 관계를 기반으로 한 앙상블 지식 전이 기법을 설계하여 큰 모델에서 작은 모델으로 지식을 전이한다.
• 클라이언트가 로컬 데이터 볼륨에 따라 개인화된 크기(작음, 중간, 큼)의 모델을 훈련할 수 있도록 허용하여 과적합 또는 과소적합을 방지한다.
• 이질적인 모델 아키텍처와 크기를 지원하는 공용 매개변수 집계 전략을 사용하여 모델 업데이트의 덧셈 집계를 가능하게 한다.
• 클라이언트 간에 동일한 모델 아키텍처를 사용하지만, 각 클라이언트의 자원 이질성을 반영하기 위해 파라미터 수를 다르게 허용한다.

실험 결과

연구 질문

• RQ1 다양한 데이터 볼륨을 가진 클라이언트에게 개인화된 모델 크기를 할당함으로써 페더레이티드 추천 시스템이 더 나은 성능을 달성할 수 있는가?
• RQ2 동일한 아키텍처가 필요 없이 서로 다른 크기의 추천 모델에서 지식을 효과적으로 집계할 수 있는가?
• RQ3 어떤 정규화 기법이 이질적인 모델 크기 간에 안정적이고 효과적인 지식 전이를 보장하는가?
• RQ4 관계 기반 지식 전이 기법은 이질적인 페더레이티드 환경에서 성능을 어떻게 향상시키는가?
• RQ5 모델 크기 설정이 페더레이티드 추천에서 전체 시스템 성능에 어떤 영향을 미치는가?

주요 결과

• HeteFedRec는 모든 데이터셋에서 동일한 크기의 기반선들(Fed-NCF 및 Fed-LightGCN)보다 NDCG@20에서 뛰어난 성능을 보였다. 특히 중간 크기의 모델 설정에서 두드러진 성능 향상을 보였다.
• MovieLens-1M에서 HeteFedRec는 {8,16,32} 모델 크기 설정으로 NDCG@20가 0.04781을 기록했으며, '모두 작은'(0.04328) 및 '모두 큰'(0.04028) 설정보다 뛰어났다.
• 모델 크기를 {32,64,128}로 늘렸을 때도 HeteFedRec는 '모두 큰' 기반선(0.04074 대비 Fed-NCF의 0.03903)을 초월했다.
• 정규화 인자 α의 중간 값에서 HeteFedRec의 성능이 최고로 나타나, 지식 전이와 표현 안정성 간의 최적 균형이 존재함을 시사했다.
• 실험 결과에서 모델 크기가 증가함에 따라 성능이 처음에는 향상되었지만, 너무 커지자 성능이 떨어지는 것을 확인하여 개인화된 크기 조정의 필요성을 입증했다.
• 관계 기반 지식 전이 기법이 큰 모델에서 작은 모델으로의 지식 전이를 효과적으로 향상시켜 전체 집계 품질을 높였다.