[論文レビュー] On-Device Recommender Systems: A Comprehensive Survey

Hongzhi Yin, Liang Qu+7 more|arXiv (Cornell University)|Jan 21, 2024

Recommender Systems and Techniques被引用数 5

ひとこと要約

この論文は、デバイス上のレコメンダーシステム（DeviceRSs）に関する初の包括的な調査を提供し、展開/推論、デバイス上の訓練/更新、セキュリティ/プライバシーを詳述し、体系的な分類と今後の方向性を示す。

ABSTRACT

Recommender systems have been widely deployed in various real-world applications to help users identify content of interest from massive amounts of information. Traditional recommender systems work by collecting user-item interaction data in a cloud-based data center and training a centralized model to perform the recommendation service. However, such cloud-based recommender systems (CloudRSs) inevitably suffer from excessive resource consumption, response latency, as well as privacy and security risks concerning both data and models. Recently, driven by the advances in storage, communication, and computation capabilities of edge devices, there has been a shift of focus from CloudRSs to on-device recommender systems (DeviceRSs), which leverage the capabilities of edge devices to minimize centralized data storage requirements, reduce the response latency caused by communication overheads, and enhance user privacy and security by localizing data processing and model training. Despite the rapid rise of DeviceRSs, there is a clear absence of timely literature reviews that systematically introduce, categorize and contrast these methods. To bridge this gap, we aim to provide a comprehensive survey of DeviceRSs, covering three main aspects: (1) the deployment and inference of DeviceRSs (2) the training and update of DeviceRSs (3) the security and privacy of DeviceRSs. Furthermore, we provide a fine-grained and systematic taxonomy of the methods involved in each aspect, followed by a discussion regarding challenges and future research directions. This is the first comprehensive survey on DeviceRSs that covers a spectrum of tasks to fit various needs. We believe this survey will help readers effectively grasp the current research status in this field, equip them with relevant technical foundations, and stimulate new research ideas for developing DeviceRSs.

研究の動機と目的

• クラウドベースからデバイス上のレコメンダーシステム（DeviceRSs）へ移行するモチベーションを紹介し、資源使用量、遅延、プライバシーリスクを低減する。
• 展開/推論、訓練/更新、セキュリティ/プライバシーにまたがるDeviceRSsの体系的分類法を提示する。
• デバイスRSの課題を議論し、研究と実践を導く今後の方向性を提案する。
• 埋め込み圧縮戦略とリアルタイムのデバイス上更新を重視した展開/推論技術の総合的な統合を提供する。

提案手法

• 展開/推論、訓練/更新、プライバシー/セキュリティの3つの柱にまたがるDeviceRSsの広範な分類法を提供する。
• Binary Code-based、Embedding Sparsification、Variable Size Embedding、Compositional Embedding、Sustainable Deploymentを含む埋め込み中心の展開技術を詳述する。
• Federated and Decentralized learningを含むデバイス上の訓練パラダイムとデバイスとサーバー間の協調を伴うデバイス上のファインチューニング手法を調査する。
• DeviceRSsにおけるセキュリティとプライバシーリスクを論じ、防御戦略と攻撃対策を要約する。
• 既存研究を統一的なフレームワークに統合し、ギャップと今後の研究方向を特定する。

実験結果

リサーチクエスチョン

• RQ1 制限されたメモリを持つデバイス上で大規模レコメンダーモデルを展開・推論する際の核心技術は何か？
• RQ2 プライバシーとセキュリティを保持しつつ、デバイス上の訓練と更新をどのように効果的に実行できるのか？
• RQ3 DeviceRSsを脅かすセキュリティ/プライバシーリスクは何であり、どのような防御策が提案されているか？
• RQ4 展開、訓練、セキュリティ全般にわたるDeviceRSsの主な課題と今後の方向性は何か？
• RQ5 分類法はDeviceRSsの実世界のシステムとアプリケーションとどのように整合するか？

主な発見

• 本論文はデバイス上のレコメンダーシステム（DeviceRSs）の初の包括的な調査を提示する。
• 展開/推論、デバイス上の訓練/更新、およびプライバシー/セキュリティにわたるDeviceRSsの体系的な分類法を提供する。
• 既存の手法を埋め込み中心の展開カテゴリ5つ（Binary Code-based、Embedding Sparsification、Variable Size、Compositional、Sustainable Deployment）に統合して要約する。
• Federated and Decentralized learningを含むデバイス上の訓練パラダイムとデバイス上のファインチューニング手法をレビューする。
• DeviceRSsにおけるプライバシーリスクと poisoning attacks を論じ、防御策と防衛機構を調査する。
• 論文は課題を浮き彫りにし、実践と理論の両面でDeviceRSsを前進させる今後の方向性を概説する。