[論文レビュー] Privacy-Preserving Visual Learning Using Doubly Permuted Homomorphic Encryption

Ryo Yonetani, Vishnu Naresh Boddeti+2 more|arXiv (Cornell University)|Apr 7, 2017

Cryptography and Data Security参考文献 58被引用数 5

ひとこと要約

本稿では、分散ユーザーからローカルに訓練された暗号化済み分類器を、個人情報が露呈しない形で安全に集約できるプライバシー保護型視覚学習フレームワークを提案する。スパarsity制約を課し、非ゼロ重み値とそのインデックスを二重に並び替えながら、二重に並び替えられた同型暗号化（DPHE）を用いることで、高い効率性と強力なプライバシー保証を達成した。本手法は、公開データセット上での既存のプライバシー保護型手法を上回り、最先端の認識精度を維持している。

ABSTRACT

We propose a privacy-preserving framework for learning visual classifiers by leveraging distributed private image data. This framework is designed to aggregate multiple classifiers updated locally using private data and to ensure that no private information about the data is exposed during and after its learning procedure. We utilize a homomorphic cryptosystem that can aggregate the local classifiers while they are encrypted and thus kept secret. To overcome the high computational cost of homomorphic encryption of high-dimensional classifiers, we (1) impose sparsity constraints on local classifier updates and (2) propose a novel efficient encryption scheme named doubly-permuted homomorphic encryption (DPHE) which is tailored to sparse high-dimensional data. DPHE (i) decomposes sparse data into its constituent non-zero values and their corresponding support indices, (ii) applies homomorphic encryption only to the non-zero values, and (iii) employs double permutations on the support indices to make them secret. Our experimental evaluation on several public datasets shows that the proposed approach achieves comparable performance against state-of-the-art visual recognition methods while preserving privacy and significantly outperforms other privacy-preserving methods.

研究の動機と目的

• 分散されたプライベートな画像データから視覚分類器を学習する課題に、機微な情報を露呈させずに対処すること。
• プライバシー保護型機械学習における高次元分類器に対する同型暗号化の高い計算コストを克服すること。
• フェデレーテッドラーニング環境におけるスパースで高次元のモデル更新に特化した安全かつ効率的な暗号化方式を設計すること。
• 集約者や他のユーザーが、暗号化されたモデル更新から個々のユーザーのプライベートデータや非ゼロ特徴インデックスを推測できないようにすること。
• データプライバシーを保ちながら、最先端の視覚認識手法と同等のパフォーマンスを達成すること。

提案手法

• フレームワークは同型暗号方式を用い、集約者が復号せずに暗号化済みのローカル更新分類器の平均値を計算可能にする。
• ローカル分類器更新にスパarsity制約を課し、同型暗号化の次元と計算コストを低減する。
• 非ゼロ重み値のみを暗号化し、そのサポートインデックスに二重の並び替えを適用することで機密性を確保する、新たな暗号化方式である二重に並び替えられた同型暗号化（DPHE）を提案する。
• DPHEは各分類器を非ゼロ値とその並び替え済みインデックスに分解し、一方の並び替えは集約者と共有され、もう一方はユーザーが秘匿する。
• セキュリティは、元のインデックスを再構築できるのは両方の並び替えを持つユーザーに限ることに依存しており、これにより集約者や他のユーザーがプライベートデータを特定できない。
• 少なくとも3名の協調しない参加者が関与する場合、平均化されたモデルで個々の貢献が再構築できないことを保証する。

実験結果

リサーチクエスチョン

• RQ1 機微な情報を露呈させずに、プライベートなデータからローカルに訓練された視覚分類器を安全に集約できるか？
• RQ2 視覚学習における高次元でスパースなモデル重みに対して、同型暗号化の計算コストをどのように低減できるか？
• RQ3 分散学習環境において、非ゼロ重み値とそのインデックスの両方のプライバシーを保護する暗号化方式を設計できるか？
• RQ4 複数の参加者が暗号化済みのモデル更新を提供し、集約者がそれらの平均値を計算する場合、どの程度のプライバシーが保証されるか？
• RQ5 本手法は、既存のプライバシー保護型および非プライベートな視覚学習手法と比較して、精度と効率性においてどのように差をつけるか？

主な発見

• 提案されたDPHE方式は、非ゼロ値とその並び替え済みインデックスのみを処理することで、同型暗号化の計算コストを顕著に低減し、高次元の視覚モデルに対しても実用的であることを示した。
• Caltech101や他の公開データセット上でも、暗号化された学習データを用いても、最先端の視覚認識手法と同等の分類精度を達成した。
• 本手法は、精度と効率性の両面で既存のプライバシー保護型手法を上回り、プライバシーと有用性のトレードオフにおいて顕著な優位性を示した。
• セキュリティ解析により、集約者や他のユーザーが両方の並び替えを保持していない限り、個々のユーザーのプライベートデータや非ゼロ特徴インデックスを特定できないことが証明された。
• 理論的および実騴的結果から、3名以上の協調しない参加者が関与する場合、元のモデル更新やプライベートデータが暗号化された集約結果から区別不能であることが確認された。
• 二重並び替えと同型集約の不可逆性に起因し、協調しない参加者がいない限り、平均化されたモデルが公開されてもプライバシーが保持されることが保証された。