[논문 리뷰] On-Device Recommender Systems: A Comprehensive Survey

Hongzhi Yin, Liang Qu외 7명|arXiv (Cornell University)|2024. 01. 21.

Recommender Systems and Techniques인용 수 5

한 줄 요약

이 논문은 디바이스상 추천 시스템(DeviceRSs)에 대한 첫 번째 포괄적 설문조사를 제공하며, 배포/추론, 디바이스 내 학습/업데이트, 보안/프라이버시를 상세히 다루고 체계적 분류와 향후 방향을 제시한다.

ABSTRACT

Recommender systems have been widely deployed in various real-world applications to help users identify content of interest from massive amounts of information. Traditional recommender systems work by collecting user-item interaction data in a cloud-based data center and training a centralized model to perform the recommendation service. However, such cloud-based recommender systems (CloudRSs) inevitably suffer from excessive resource consumption, response latency, as well as privacy and security risks concerning both data and models. Recently, driven by the advances in storage, communication, and computation capabilities of edge devices, there has been a shift of focus from CloudRSs to on-device recommender systems (DeviceRSs), which leverage the capabilities of edge devices to minimize centralized data storage requirements, reduce the response latency caused by communication overheads, and enhance user privacy and security by localizing data processing and model training. Despite the rapid rise of DeviceRSs, there is a clear absence of timely literature reviews that systematically introduce, categorize and contrast these methods. To bridge this gap, we aim to provide a comprehensive survey of DeviceRSs, covering three main aspects: (1) the deployment and inference of DeviceRSs (2) the training and update of DeviceRSs (3) the security and privacy of DeviceRSs. Furthermore, we provide a fine-grained and systematic taxonomy of the methods involved in each aspect, followed by a discussion regarding challenges and future research directions. This is the first comprehensive survey on DeviceRSs that covers a spectrum of tasks to fit various needs. We believe this survey will help readers effectively grasp the current research status in this field, equip them with relevant technical foundations, and stimulate new research ideas for developing DeviceRSs.

연구 동기 및 목표

• 클라우드 기반에서 DeviceRSs로 전환하려는 동기를 소개하여 자원 사용, 지연(latency), 프라이버시 위험을 줄인다.
• 배포/추론, 학습/업데이트, 보안/프라이버시 전반에 걸친 DeviceRSs의 체계적 분류법을 제시한다.
• DeviceRSs의 연구와 실무를 guidance 하기 위한 도전 과제를 논의하고 향후 방향을 제시한다.
• 임베딩 압축 전략과 실시간 디바이스 내 업데이트를 강조하여 배포/추론 기술의 종합적 합성을 제공한다.

제안 방법

• 배포/추론, 학습/업데이트, 프라이버시/보안을 아우르는 DeviceRSs의 넓은 분류체계를 제시한다.
• Binary Code-based, Embedding Sparsification, Variable Size Embedding, Compositional Embedding, Sustainable Deployment 등 임베딩 중심 배포 기법을 자세히 다룬다.
• Federated 및 Decentralized learning과 온-디바이스 학습 양상을 포함한 온-디바이스 학습 패러다임을 조사한다.
• DeviceRSs의 보안 및 프라이버시 위험을 논의하고 방어 전략과 공격 대책을 요약한다.
• 선행 연구를 하나의 통합 프레임워크로 통합하고 격차와 향후 연구 방향을 식별한다.

실험 결과

연구 질문

• RQ1 메모리 제약이 있는 디바이스에서 대형 추천 모델을 배포하고 추론하는 핵심 기법은 무엇인가?
• RQ2 프라이버시와 보안을 보장하면서 온-디바이스 학습 및 업데이트를 효과적으로 수행하려면 어떻게 해야 하나?
• RQ3 DeviceRSs를 위협하는 보안/프라이버시 위험은 무엇이며 제안된 방어책은 무엇인가?
• RQ4 배포, 학습, 보안 전반에 걸친 DeviceRSs의 주요 도전과 향후 방향은 무엇인가?
• RQ5 분류법이 실제 시스템 및 DeviceRSs의 응용과 어떻게 일치하는가?

주요 결과

• 이 논문은 DeviceRSs에 대한 최초의 포괄적 설문조사를 제시한다.
• 배포/추론, 온-디바이스 학습/업데이트, 프라이버시/보안을 포함한 DeviceRSs에 대한 체계적 분류법을 제시한다.
• 다섯 가지 임베딩 중심의 배포 범주(Binary Code-based, Embedding Sparsification, Variable Size, Compositional, Sustainable Deployment)로 기존 방법들을 종합한다.
• 온-디바이스 학습 패러다임으로 Federated 및 Decentralized learning과 온-디바이스 미세 조정(on-device fine-tuning) 접근법을 검토한다.
• DeviceRSs의 프라이버시 위험과 오염 공격을 논의하고 대응책과 방어 메커니즘을 조사한다.
• 논문은 실무와 이론에서 DeviceRSs를 발전시키기 위한 도전과 향후 방향을 제시한다.