[論文レビュー] Assisted Learning and Imitation Privacy

Xun Xian, Xinran Wang+2 more|arXiv (Cornell University)|Apr 1, 2020

Privacy-Preserving Technologies in Data参考文献 21被引用数 1

ひとこと要約

本論文は、サービスプロバイダー（ボブ）が学習者（アリス）を支援するためのアシスト学習フレームワークを提案する。このフレームワークにより、ボブのプライベートなモデルやデータを暴露せずに、パーソナライズドな教師あり学習を支援できる。反復的通信において関連する統計量のみを送信することで、学習性能を向上させるとともに、『模倣プライバシー』——学習アルゴリズムレベルでの漏洩を定量化する、新しいプライバシーの概念——を導入する。

ABSTRACT

Motivated by the emerging needs of decentralized learners with personalized learning objectives, we present an Assisted Learning framework where a service provider Bob assists a learner Alice with supervised learning tasks without transmitting Bob's private algorithm or data. Bob assists Alice either by building a predictive model using Alice's labels, or by improving Alice's private learning through iterative communications where only relevant statistics are transmitted. The proposed learning framework is naturally suitable for distributed, personalized, and privacy-aware scenarios. For example, it is shown in some scenarios that two suboptimal learners could achieve much better performance through Assisted Learning. Moreover, motivated by privacy concerns in Assisted Learning, we present a new notion of privacy to quantify the privacy leakage at learning level instead of data level. This new privacy, named imitation privacy, is particularly suitable for a market of statistical learners each holding private learning algorithms as well as data.

研究の動機と目的

• 学習者がプライベートなデータやモデルを持つ状況において、分散型でパーソナライズドな学習のニーズに対応すること。
• 協力によって性能向上を図る一方で、プライベートな学習アルゴリズムやデータの共有を困難にする課題を克服すること。
• データレベルではなく、学習アルゴリズムレベルでの漏洩を定量化する新しいプライバシーメトリクス「模倣プライバシー」を提案すること。
• 関連する統計量の反復的通信に限定することで、安全で効率的かつプライバシーを守ったモデル改善を実現すること。
• 各々がプライベートなアルゴリズムとデータを持つ統計的学習者の市場を支援し、実用性とプライバシーの両立を確保すること。

提案手法

• ボブがアリスのラベルを用いて予測モデルを構築するが、ボブのプライベートなアルゴリズムやデータを保持するフレームワークを設計する。
• アリスとボブの間で反復的通信を可能にし、アリスのプライベートなモデルの改善を図るために、関連する統計要約のみを送信する。
• 敵が通信のやり取りからボブのプライベートな学習アルゴリズムを推定するリスクを定量化するための形式的プライバシー概念「模倣プライバシー」を導入する。
• 最小限で非機密な情報のみを交換する分散最適化問題として学習プロセスを定式化する。
• スケーラブルであり、パーソナライズドで分散型かつプライバシーに配慮した機械学習環境に適したフレームワークを確保する。
• 統計的および情報理論的ツールを用いて、アシスト学習プロセス中の模倣プライバシー漏洩を分析・上限付ける。

実験結果

リサーチクエスチョン

• RQ1 サービスプロバイダーは、プライベートなデータやアルゴリズムを暴露せずに、学習者がモデルの性能を向上させることを支援できるか？
• RQ2 モデルの逆方向推定や模倣攻撃のリスクを捉えることができる、学習アルゴリズム向けの効果的プライバシーメトリクスは何か？
• RQ3 2つの非最適な学習者が、最小限の情報交換で協力的アシスト学習を通じて顕著に高い性能を達成できるか？
• RQ4 分散型学習環境において、学習アルゴリズムのプライバシー漏洩をどのように定量化・最小化できるか？
• RQ5 アシスト学習フレームワークにおいて、モデル性能の向上とプライバシー漏洩の間にはどのようなトレードオフがあるか？

主な発見

• アシスト学習フレームワークにより、生データや完全なモデルを共有せずに、非最適な学習者による性能向上が実現できる。
• 関連する統計要約のみを送信する反復的で安全なモデル改善が可能となり、通信量とプライバシーの負荷が低減される。
• 模倣プライバシーは、敵がやり取りからプライベートな学習アルゴリズムを再構築するリスクを効果的に定量化し、新たなプライバシー抽象化を提供する。
• このフレームワークは、分散型でパーソナライズドかつプライバシーに配慮した機械学習アプリケーションに自然に適合する。
• 理論的分析により、通信プロトコルの注意深い設計によって模倣プライバシーを上限付けることができると示された。
• 実験的シナリオでは、両者とも初期段階で弱いモデルを有していたとしても、アシスト学習によって顕著に高い性能が達成可能であることが示された。