[論文レビュー] Semi-decentralized Federated Ego Graph Learning for Recommendation

Liang Qu, Ningzhi Tang+5 more|arXiv (Cornell University)|Feb 10, 2023

Recommender Systems and Techniques被引用数 4

ひとこと要約

本稿では、中央サーバーに依存せず、予測された偽の共通アイテムを介して孤立したエゴグラフを接続することで、通信コストを低減し、プライバシーを守りながらデバイス内での推薦を実現する、非中央集権的で部分的に分散型のフェデレーテッドエゴグラフ学習フレームワークであるSemiDFEGLを提案する。この手法は、3つの公開データセットにおいて最先端の性能を達成しており、モデルに依存せず、既存のGNNおよびプライバシー保護技術とも互換性がある。

ABSTRACT

Collaborative filtering (CF) based recommender systems are typically trained based on personal interaction data (e.g., clicks and purchases) that could be naturally represented as ego graphs. However, most existing recommendation methods collect these ego graphs from all users to compose a global graph to obtain high-order collaborative information between users and items, and these centralized CF recommendation methods inevitably lead to a high risk of user privacy leakage. Although recently proposed federated recommendation systems can mitigate the privacy problem, they either restrict the on-device local training to an isolated ego graph or rely on an additional third-party server to access other ego graphs resulting in a cumbersome pipeline, which is hard to work in practice. In addition, existing federated recommendation systems require resource-limited devices to maintain the entire embedding tables resulting in high communication costs. In light of this, we propose a semi-decentralized federated ego graph learning framework for on-device recommendations, named SemiDFEGL, which introduces new device-to-device collaborations to improve scalability and reduce communication costs and innovatively utilizes predicted interacted item nodes to connect isolated ego graphs to augment local subgraphs such that the high-order user-item collaborative information could be used in a privacy-preserving manner. Furthermore, the proposed framework is model-agnostic, meaning that it could be seamlessly integrated with existing graph neural network-based recommendation methods and privacy protection techniques. To validate the effectiveness of the proposed SemiDFEGL, extensive experiments are conducted on three public datasets, and the results demonstrate the superiority of the proposed SemiDFEGL compared to other federated recommendation methods.

研究の動機と目的

• 中央集権的かつスター型のフェデレーテッドレコメンデーションシステムにおけるスケーラビリティと通信ボトルネックを解決すること。
• フェデレーテッドエゴグラフラーニングにおける孤立エゴグラフの制限を克服し、高次の共同ユーザー・アイテム関係を捉えること。
• 完全な埋め込みテーブルの保存を避けることで、デバイス内メモリと通信のオーバーヘッドを低減し、中央サーバーや第三者サービスへの依存を排除すること。
• さまざまなGNNベースのレコメンデーションモデルや既存のプライバシー保護技術とシームレスに統合可能な、モデルに依存しないフレームワークを設計すること。

提案手法

• 中央サーバーに依存せずにデバイス同士が直接協働する、部分的に分散型のアーキテクチャを導入する。
• 各デバイスの孤立エゴグラフを予測された偽の共通アイテムで接続し、高次の共同情報を捉える拡張された局所サブグラフを構築する。
• モデル更新と協働知識の共有にデバイス間通信を活用することで、中央集約者への依存を低減し、通信コストを削減する。
• モデルに依存しない設計を維持し、GCN、GAT、GraphSAGE、LightGCNなどのさまざまなGNNベースのレコメンデーションモデルと統合可能である。
• オンデバイスでの学習とローカルグラフの拡張を活用し、ユーザーのデータをデバイス内に保持することで、プライバシー漏洩のリスクを最小限に抑える。
• グループベースのクラスタリング戦略を用いて偽の共通アイテムを生成し、ノイズの導入と構造的情報の獲得のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 中央サーバーが存在しない状況でも、部分的に分散型のフェデレーテッドエゴグラフラーニングフレームワークは、孤立エゴグラフから高次の共同情報を効果的に捉えることができるか？
• RQ2 偽の共通アイテムの使用は、フェデレーテッドエゴグラフラーニングにおけるモデル性能とプライバシー保護にどのような影響を与えるか？
• RQ3 既存のフェデレーテッドレコメンデーションシステムと比較して、提案フレームワークは通信コストとメモリコストをどの程度低減できるか？
• RQ4 このフレームワークは、多様なGNNベースのレコメンデーションモデルおよび既存のプライバシー保護メカニズムとシームレスに統合可能か？

主な発見

• SemiDFEGLは、MovieLens-1M、Yelp、Amazonの3つの公開データセットにおいて、推薦精度と頑健性の両面で、既存のフェデレーテッドレコメンデーション手法を上回る優れた性能を達成した。
• 偽の共通アイテム生成プロセスにおいて100グループが最適な性能を発揮し、ノイズと構造的情報の獲得のバランスが取れている。
• 4層のGNNアーキテクチャが最良の性能を示した。深層ネットワークは過剰平滑化のリスクを抱えるが、浅層ネットワークは高次のグラフ構造を捉えきれない。
• LightGCNとSemiDFEGLの統合は、GNNのバリエーションの中で最高の性能を記録した。これは、効率的な埋め込み学習と注目メカニズムに類似した機構に起因する。
• 適度な数のネガティブサンプルを使用することで、プライバシーが向上するが、性能の著しい低下は生じない。一方、過剰なネガティブサンプルはノイズを導入し、モデル精度を損なう。
• 中央サーバーの必要性を排除し、完全な埋め込みテーブルのデバイス内保存を削減することで、フレームワークは強力なスケーラビリティと通信効率を示した。