[論文レビュー] Better accuracy with quantified privacy: representations learned via reconstructive adversarial network

Sicong Liu, Anshumali Shrivastava+2 more|arXiv (Cornell University)|Jan 25, 2019

Privacy-Preserving Technologies in Data参考文献 24被引用数 13

ひとこと要約

本論文は、敵対的訓練を通じて表現学習におけるプライバシーと有用性を同時に最適化する、新しい深層学習フレームワークRANを提案する。3部構成のアーキテクチャ（エンコーダ、分類器、デコーダ）を用い、分類誤差（有用性）と再構成誤差（プライバシー）を同時に最小化することで、下流タスクに適した高精度な特徴と、元のデータの再構成に耐性のある特徴を学習する。これにより、ベースラインモデルよりも高い精度を達成するとともに、敵対的正則化によってプライバシーを暗黙的に強化する。

ABSTRACT

The remarkable success of machine learning, especially deep learning, has produced a variety of cloud-based services for mobile users. Such services require an end user to send data to the service provider, which presents a serious challenge to end-user privacy. To address this concern, prior works either add noise to the data or send features extracted from the raw data. They struggle to balance between the utility and privacy because added noise reduces utility and raw data can be reconstructed from extracted features. This work represents a methodical departure from prior works: we balance between a measure of privacy and another of utility by leveraging adversarial learning to find a sweeter tradeoff. We design an encoder that optimizes against the reconstruction error (a measure of privacy), adversarially by a Decoder, and the inference accuracy (a measure of utility) by a Classifier. The result is RAN, a novel deep model with a new training algorithm that automatically extracts features for classification that are both private and useful. It turns out that adversarially forcing the extracted features to only conveys the intended information required by classification leads to an implicit regularization leading to better classification accuracy than the original model which completely ignores privacy. Thus, we achieve better privacy with better utility, a surprising possibility in machine learning! We conducted extensive experiments on five popular datasets over four training schemes, and demonstrate the superiority of RAN compared with existing alternatives.

研究の動機と目的

• クラウドベースの機械学習サービスにおけるデータプライバシーとモデル有用性の間の葛藤を解消すること。
• 再構成誤差を用いてプライバシーを定量化するとともに、分類精度を最大化する手法を開発すること。
• 敵対的訓練を通じて、プライバシーと有用性の両方を同時に最適化するエンドツーエンドの深層モデルを設計すること。
• 敵対的正則化が冗長な情報を暗黙的に除去でき、一般化性能と精度を向上させることを実証すること。

提案手法

• RANは3部構成のアーキテクチャを採用する：特徴抽出のためのエンコーダ、有用性（識別的）学習のための分類器、プライバシー（再構成）学習のためのデコーダ。
• エンコーダはデコーダに対して敵対的に訓練され、再構成誤差を最大化することでプライバシーを向上させる。
• 分類器は符号化された特徴上で分類誤差を最小化するように訓練され、有用性を保証する。
• 独創的な3段階訓練アルゴリズムが、識別的学習、生成的学習（デコーダ）、および全コンポONENTの敵対的ファインチューニングを交互に実行する。
• バックプロパゲーションに二重勾配を用いる：分類器からの勾配（有用性のため）とデコーダからの勾配（プライバシーのため）で、特徴空間の最適化を導く。
• プライバシーは、符号化された特徴から元のデータの再構成誤差として定量化され、誤差が大きいほどプライバシーが向上しているとされる。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練を用いることで、表現学習におけるモデルの有用性とプライバシーを同時に向上させることができるか？
• RQ2 元のデータの再構成を防ぐようにモデルを制約することで、一般化性能が向上し、分類精度が向上するか？
• RQ3 単一のエンドツーエンドの深層モデルが、ノイズを付加するか、特徴抽出を別々に適用する従来の手法よりも、より優れたプライバシー・有用性トレードオフを達成できるか？
• RQ4 敵対的プライバシー制約による暗黙の正則化が、特徴品質およびモデル一般化に与える影響は何か？

主な発見

• RANはプライバシーを無視した元のモデルよりも高い分類精度を達成しており、プライバシー制約が一般化性能を向上させられることを示している。
• 敵対的訓練プロセスは特徴から冗長な情報を暗黙的に除去し、モデルの頑健性と性能を向上させている。
• RANは、ノイズ付き特徴抽出や微分プライバシーといった従来手法を上回り、プライバシーと有用性の両面で優れた性能を示しており、ノイズ付きベースラインよりも高い分類精度を達成している。
• MNIST、CIFAR-10、ImageNet、Ubisound、HARの5つのベンチマークデータセットを用いた広範な実験により、RANがプライバシーと有用性のバランスにおいて優れていることが確認された。
• 再構成誤差メトリクスはプライバシーを効果的に定量化できており、この誤差に対する敵対的訓練により、逆方向に特徴を復元することが困難な特徴が得られている。