[論文レビュー] Decentralized Collaborative Learning Framework for Next POI Recommendation

Jing Long, Tong Chen+2 more|arXiv (Cornell University)|Mar 30, 2022

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、次回のポイント・オブ・インタレスト（POI）推薦のための分散型共同学習フレームワークDCLRを提案する。DCLRは、ユーザーが局所的にパーソナライズドモデルを学習しつつ、地理的にも意味的にも類似したペアと共同で学習できる仕組みを提供する。POI埋め込みの自己教師付き事前学習と、多様な近隣ユーザーからの知識を注意に基づく相互情報に基づく集約によって活用することで、DCLRは、強力なプライバシー保護とクラウド依存の低減を実現しつつ、最先端の性能を達成する。

ABSTRACT

Next Point-of-Interest (POI) recommendation has become an indispensable functionality in Location-based Social Networks (LBSNs) due to its effectiveness in helping people decide the next POI to visit. However, accurate recommendation requires a vast amount of historical check-in data, thus threatening user privacy as the location-sensitive data needs to be handled by cloud servers. Although there have been several on-device frameworks for privacy-preserving POI recommendations, they are still resource-intensive when it comes to storage and computation, and show limited robustness to the high sparsity of user-POI interactions. On this basis, we propose a novel decentralized collaborative learning framework for POI recommendation (DCLR), which allows users to train their personalized models locally in a collaborative manner. DCLR significantly reduces the local models' dependence on the cloud for training, and can be used to expand arbitrary centralized recommendation models. To counteract the sparsity of on-device user data when learning each local model, we design two self-supervision signals to pretrain the POI representations on the server with geographical and categorical correlations of POIs. To facilitate collaborative learning, we innovatively propose to incorporate knowledge from either geographically or semantically similar users into each local model with attentive aggregation and mutual information maximization. The collaborative learning process makes use of communications between devices while requiring only minor engagement from the central server for identifying user groups, and is compatible with common privacy preservation mechanisms like differential privacy. We evaluate DCLR with two real-world datasets, where the results show that DCLR outperforms state-of-the-art on-device frameworks and yields competitive results compared with centralized counterparts.

研究の動機と目的

• センシティブなチェックインデータのクラウドストレージおよび処理に依存する中央集権型POI推薦システムが抱えるプライバシー、スケーラビリティ、レジリエンスの問題を解決すること。
• 地理的近接性とカテゴリータグに基づく自己教師付き信号を用いて事前学習することで、オンデバイスPOI推薦におけるデータスパarsityを克服すること。
• 中央モデルに依存せずに、ユーザーが類似したペアと共同で学習できる軽量で分散型のフレームワークを通じて、パーソナライズドで高パフォーマンスなPOI推薦を可能にすること。
• モデル転送を最小限に抑え、効率的な局所学習と共同知識集約を可能にすることで、クラウドおよび局所デバイスの計算およびストレージコストを削減すること。

提案手法

• 座標情報に基づくPOI間の地理的距離を予測する自己教師付き目的と、POIカテゴリと関連タグ間の相互情報量を最大化する2つの自己教師付き目的を用いて、POI表現を事前学習する。
• 各ユーザーに対して2種類の近隣ユーザーを特定する：(1) 地理的に近接するユーザー、(2) 埋め込み類似度に基づくPOIカテゴリ好みが類似するユーザー。
• 学習可能なアテンションゲートを用いて、両方の近隣タイプからの知識を組み合わせる注目型集約メカニズムを適用する。
• 局所モデル表現と集約された近隣特徴間の相互情報量を最大化することで、知識の転送と表現品質を向上させる。
• 通信プロトコルを軽量に設計し、デバイス間で送信されるのはモデルパラメータ（生データではない）のみとする。中央サーバーは初期モデル配布とユーザーグループ化の責任を担うにとどまる。
• 共同学習プロセス中にユーザーのプライバシーを保護するため、微分プライバシーを通信プロセスに統合する。

実験結果

リサーチクエスチョン

• RQ1 地理的およびカテゴリ的POI特徴に基づく自己教師付き事前学習が、オンデバイスPOI推薦におけるデータスパarsityを効果的に軽減できるか？
• RQ2 地理的にも意味的にも類似したユーザーからの共同学習は、ローカル学習のみに比べて、パーソナライズド推薦の正確性をどの程度向上させるか？
• RQ3 分散型フレームワークが、中央集権型モデルと同等の性能を維持しつつ、クラウドインfraの依存度をどの程度低減できるか？
• RQ4 相互情報量最大化と注目型集約の統合が、分散型共同学習における知識転送をどの程度向上させるか？
• RQ5 異なる近隣ユーザー特定戦略（地理的 vs. 好みベース）が、推薦性能およびプライバシーに与える影響は何か？

主な発見

• DCLRは、データスパarsityと限られた局所計算リソースの下でも、最先端のオンデバイスフレームワークを上回る次回POI推薦の正確性を示した。
• 提案された自己教師付き事前学習タスクはPOI表現品質を顕著に向上させ、アブレーションスタディにより、下流の推薦タスクで測定可能な性能向上が確認された。
• 地理的にも意味的にも類似した両方の近隣ユーザーと共同学習することで、単一の近隣タイプのみを用いる場合よりも、モデルの一般化性能が向上した。
• 注目型集約メカニズムは、異なる近隣タイプからの寄与を効果的にバランスさせ、モデルのロバストネスと推薦正確性を向上させた。
• 生のチェックインデータを共有しない代わりにモデルパラメータのみを共有するため、微分プライバシーと最小限のデータ漏洩により、強力なプライバシー保証を維持した。
• DCLRは、限られた局所データでも中央集権型モデルと同等の競争力のある性能を達成し、分散型かつプライバシー保護型推薦の有効性を裏付けた。