[論文レビュー] Shared MF: A privacy-preserving recommendation system

Senci Ying|arXiv (Cornell University)|Aug 18, 2020

Privacy-Preserving Technologies in Data参考文献 13被引用数 8

ひとこと要約

この論文では、秘密分散を用いてユーザーのデータプライバシーを保護しながらも高い効率を維持するプライバシー保護型分散行列分解推薦システム、SharedMFを提案する。計算コストの高い同型暗号化の代わりに秘密分散を採用することで、SharedMFは、同型暗号化ベースの手法と比較して最大2.2倍の高速な学習速度を達成し、プライバシーを損なわず大規模な推薦システムに実用可能であることを示している。

ABSTRACT

Matrix factorization is one of the most commonly used technologies in recommendation system. With the promotion of recommendation system in e-commerce shopping, online video and other aspects, distributed recommendation system has been widely promoted, and the privacy problem of multi-source data becomes more and more important. Based on Federated learning technology, this paper proposes a shared matrix factorization scheme called SharedMF. Firstly, a distributed recommendation system is built, and then secret sharing technology is used to protect the privacy of local data. Experimental results show that compared with the existing homomorphic encryption methods, our method can have faster execution speed without privacy disclosure, and can better adapt to recommendation scenarios with large amount of data.

研究の動機と目的

• 大規模な電子商取引およびコンテンツプラットフォームにおける、分散推薦システムにおけるデータプライバシーの課題に対処すること。
• 共同モデル学習中にユーザーのデータを保護するための、同型暗号化の代替として安全で効率的な手法を設計すること。
• 複数のデータソースにまたがる秘密分散を活用し、フェデレーテッドラーニング環境でプライバシー保護型の行列分解を実現すること。
• 異なるデータ量およびデータソース数の下で、実世界のデータセットを用いて提案手法の性能とスケーラビリティを評価すること。
• 秘密分散が、強力なプライバシー保証を維持しながらも、速度面で同型暗号化を上回ることを実証すること。

提案手法

• ユーザーのデータは複数のクライアント（例：タオバオ、アマゾン）に分散配布される一方、アイテム特徴量は中央サーバーに保存・更新される。
• 各クライアントは局所的に行列分解を用いてユーザーのベクトルを計算し、加法的秘密分散を用いて暗号化された部分ベクトルを共有することで、生データの露呈を防止する。
• モデルの更新（勾配）は秘密共有形式で交換され、どの1つの参加者でも元のデータを再構築できないようにする。
• 中央サーバーは秘密共有された勾配を集約し、元の平文データにアクセスすることなくアイテムベクトルを更新する。
• 同型暗号化の高い計算コストを回避するため、安全な集約に効率的な秘密分散プロトコルに依存する。
• スケーラビリティと性能のテストを目的として、ユーザー数およびアイテム数を変化させた実世界のデータセットを用いてフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 秘密分散を用いることで、訓練効率を損なわず、分散行列分解におけるユーザーのデータプライバシーを効果的に保護できるか？
• RQ2 大規模な推薦システムにおいて、秘密分散の性能は同型暗号化と比べてどのように異なるか？
• RQ3 提案されたシステムは、誰もが機微なユーザー情報を再構築できない状態を保ちながら、高い推薦精度を維持できるか？
• RQ4 データソース数およびアイテム数の増加に伴い、システムのスケーリング特性はどうなるか？
• RQ5 非暗号化分散行列分解のほぼベースライン性能を達成しながらも、強力なプライバシー保証を維持できるか？

主な発見

• SharedMFは、大規模なデータセット（例：500アイテム）において、同型暗号化ベースのシステムであるFedMLと比較して最大2.2倍の高速な学習速度を達成し、優れた効率性を示した。
• 500アイテムのケースでは、SharedMFの学習に要した時間は583.37秒であったのに対し、Paillier暗号を用いたFedMLは2064.62秒を要し、顕著な性能優位性が確認された。
• 秘密分散の通信コストは低く保たれ、アイテム数の増加に伴い顕著に増加しなかったため、大規模なアイテムセットに対しても強く適応可能であることが示された。
• データソース数が増加するにつれ、行列の完全性が向上したことによりモデルの損失が低下し、データ豊富な環境におけるフェデレーテッドラーニングの利点が裏付けられた。
• 非暗号化分散行列分解の性能に非常に近い水準を維持したため、実用性が確認され、最小限のオーバーヘッドであることが示された。
• 秘密分散は、速度およびスケーラビリティの両面で同型暗号化を上回り、大規模データ量を扱う実世界の推薦システムにより適していることが明らかになった。