[論文レビュー] Privacy-Preserving Machine Learning: Methods, Challenges and Directions

Runhua Xu, Nathalie Baracaldo+1 more|arXiv (Cornell University)|Aug 10, 2021

Privacy-Preserving Technologies in Data参考文献 197被引用数 75

ひとこと要約

PPMLの系統的レビューで、PPMLソリューションを評価するためのPGU三要素（Phase、Guarantee、Utility）を導入し、分類体系・課題・将来の方向性を概説する。

ABSTRACT

Machine learning (ML) is increasingly being adopted in a wide variety of application domains. Usually, a well-performing ML model relies on a large volume of training data and high-powered computational resources. Such a need for and the use of huge volumes of data raise serious privacy concerns because of the potential risks of leakage of highly privacy-sensitive information; further, the evolving regulatory environments that increasingly restrict access to and use of privacy-sensitive data add significant challenges to fully benefiting from the power of ML for data-driven applications. A trained ML model may also be vulnerable to adversarial attacks such as membership, attribute, or property inference attacks and model inversion attacks. Hence, well-designed privacy-preserving ML (PPML) solutions are critically needed for many emerging applications. Increasingly, significant research efforts from both academia and industry can be seen in PPML areas that aim toward integrating privacy-preserving techniques into ML pipeline or specific algorithms, or designing various PPML architectures. In particular, existing PPML research cross-cut ML, systems and applications design, as well as security and privacy areas; hence, there is a critical need to understand state-of-the-art research, related challenges and a research roadmap for future research in PPML area. In this paper, we systematically review and summarize existing privacy-preserving approaches and propose a Phase, Guarantee, and Utility (PGU) triad based model to understand and guide the evaluation of various PPML solutions by decomposing their privacy-preserving functionalities. We discuss the unique characteristics and challenges of PPML and outline possible research directions that leverage as well as benefit multiple research communities such as ML, distributed systems, security and privacy.

研究の動機と目的

• MLパイプラインにおけるプライバシーリスクと規制上の制約のため、PPMLの必要性を動機づける。
• フェーズ、保証、ユーティリティを横断してPPMLアプローチを評価する包括的フレームワーク（PGU）を提案する。
• PPMLソリューションをデータ公開、データ処理、アーキテクチャ、ハイブリッドのカテゴリーに分類する。
• オブジェクト指向とパイプライン指向の観点からプライバシー保証を分析する。

提案手法

• PPML機能を分解するためにPGU（Phase, Guarantee, Utility）三要素を提案する。
• データ準備、モデル生成、サービス提供、推論など、プライバシー保護フェーズにPPMLソリューションをマッピングする。
• 入力データとモデル重みなどのオブジェクト指向のプライバシー保証と、局所・グローバル・フルチェーンのプライバシーを含むパイプライン指向の保証を区別する。
• データ公開、データ処理、アーキテクチャ、ハイブリッドのアプローチにPPML技術を分類し、それらのユーティリティへの影響を評価する。
• プライバシー測定、攻撃/防御戦略、効率性の考慮などの課題と方向性を議論する。

実験結果

リサーチクエスチョン

• RQ1 PPMLアプローチがMLパイプライン全体で提供するコアなプライバシー保護機能は何か？
• RQ2 PGUフレームワークを使用してPPMLソリューションにおけるプライバシー保証の強さと範囲をどう評価できるか？
• RQ3 PPMLにおける技術的アプローチとそれらのユーティリティへの影響を最もよく捉える分類体系は何か？
• RQ4 今後のPPML研究における未解決の課題と有望な方向性は何か？

主な発見

• PPMLソリューションは多様であり、Phase、Guarantee、Utility（PGU）レンズを通して理解できる。
• プライバシー保証はオブジェクト指向（データ/モデル）とパイプライン指向（局所/グローバル/フルチェーン）の観点から分析できる。
• データ公開、データ処理、アーキテクチャ、ハイブリッドの4分類は主要なPPMLアプローチとそのユーティリティトレードオフを捉える。
• プライバシー保護付きデータ準備は多くの場合匿名化または差分プライバシーに依存し、暗号技術ベースのトレーニング/推論はHE/FEなどの関連手法を活用する。
• 完全なプライバシー保護パイプラインはまれであり、プライバシー保護トレーニングとサービング戦略の統合を必要とする。
• 本論文は測定、攻撃/防御、効率、プライバシーとユーティリティのトレードオフ、ベンチマーキングにまたがる未解決の問題と方向性を概説する。