[論文レビュー] Learning Anonymized Representations with Adversarial Neural Networks

Clément Feutry, Pablo Piantanida+2 more|arXiv (Cornell University)|Feb 26, 2018

Privacy-Preserving Technologies in Data参考文献 24被引用数 54

ひとこと要約

本論文は、データ表現を学習し、通常の予測タスクの情報を保持しつつ、プライベートな身元情報を隠すための three-network adversarial framework を提案し、digit、sentiment、and face datasets で検証しています。

ABSTRACT

Statistical methods protecting sensitive information or the identity of the data owner have become critical to ensure privacy of individuals as well as of organizations. This paper investigates anonymization methods based on representation learning and deep neural networks, and motivated by novel information theoretical bounds. We introduce a novel training objective for simultaneously training a predictor over target variables of interest (the regular labels) while preventing an intermediate representation to be predictive of the private labels. The architecture is based on three sub-networks: one going from input to representation, one from representation to predicted regular labels, and one from representation to predicted private labels. The training procedure aims at learning representations that preserve the relevant part of the information (about regular labels) while dismissing information about the private labels which correspond to the identity of a person. We demonstrate the success of this approach for two distinct classification versus anonymization tasks (handwritten digits and sentiment analysis).

研究の動機と目的

• 表現の匿名化を動機付け、正式化して、通常ラベルに関する情報を保持しつつ private ラベルの情報を保護する。
• sanitization representations の学習を指針づける情報理論的目的を開発する。
• アドバースラル訓練を用いた three-network アーキテクチャ（エンコーダ、通常ラベル予測器、privateラベル予測器）を提案し、プライバシーと有用性のバランスを取る。
• 通常タスクの性能を損なうことなくプライバシーを促進する実行可能な訓練目的を提供する。
• handwriting digits および sentiment/face-expression データセットでの実現可能性を示す。

提案手法

• 入力を表現に写像するエンコーダ Q_{U|X} と、通常ラベル用の Q_{\,Y|U} および private ラベル用の Q_{\,Z|U} の2つの予測器を導入する。
• lambda によって制御されるプライバシー項と実証誤差を結合する情報理論的代理目的を導出する。
• エンコーダが U から Z を予測する難易度を最大化する一方で Y の予測を支援する3-networkの対立的設定を用いる。
• 匿名化制約を近似するために、経験的クロスエントロピー目的と相互情報の代理を採用する。
• 予測器を更新し、対立的にエンコーダを更新する（トグル訓練）手順を交互に実装する訓練手順を採用する。
• Pen-digits（writer identity and digit）、FERG（facial expressions）、JAFFE データセットで評価し、さまざまな領域での匿名化を説明する。

実験結果

リサーチクエスチョン

• RQ1 private ラベルに関する情報を最小化しつつ通常ラベルに関する情報を保持する表現をどのように学習できるか？
• RQ2 深層ネットワークにおいて匿名化と予測有用性を効果的にバランスさせる目的と訓練手順は何か？
• RQ3 提案されたフレームワークは手書き文字、感情、顔表情タスクにおける匿名化設定でどう機能するか？
• RQ4 相互情報の実行可能な近似で、 tractable な訓練を可能にするものは何か？
• RQ5 訓練戦略（トグル vs 同時並行）による匿名化-有用性のトレードオフへの影響は何か？

主な発見

• 3ネットワークの対立的アーキテクチャは、 private-label の予測を低下させつつ通常ラベルの精度を維持する匿名化表現を学習できる。
• 情報理論的代理目的により、経験的リスクと lambda によって制御されるプライバシー関連項を組み合わせることで、実行可能な訓練を可能にする。
• 評価タスクではトグル訓練の方が同時訓練より匿名化-有用性のトレードオフが良好である。
• 実証的な結果は、デジットの writer 性と顔を匿名化しつつ、デジットおよび表情のタスクに関連する情報を維持できることを示す。
• 提案手法は、実証的相互情報の下限とクロスエントロピー代理によって private-label の誤分類確率を計算可能な下限として提供する。
• このフレームワークは複数のモダリティで頑健性を示し、 supervise d learning における匿名化表現の一般的適用性を示す。