[論文レビュー] Privacy-Preserving Deep Action Recognition: An Adversarial Learning Framework and A New Dataset

Zhenyu Wu, Haotao Wang+3 more|arXiv (Cornell University)|Jun 12, 2019

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本論文は、感覚的属性をぼかす変換を学習することで、ユーティリティ（行動認識）とプライバシー（匿名化）を共同最適化する、プライバシー保護型動画行動認識のための新規対抗学習フレームワークを提案する。モデル再起動とアンサンブル戦略を導入し、ユニバーサルプライバシー保護を強化し、行動とプライバシー属性（顔、性別、肌色、露出、関係性）のフレームごとのアノテーションを備えた、最初のベンチマークデータセットPA-HMDB51を公開した。実験では、強力なプライバシー・ユーティリティトレードオフを達成した。

ABSTRACT

We investigate privacy-preserving, video-based action recognition in deep learning, a problem with growing importance in smart camera applications. A novel adversarial training framework is formulated to learn an anonymization transform for input videos such that the trade-off between target utility task performance and the associated privacy budgets is explicitly optimized on the anonymized videos. Notably, the privacy budget, often defined and measured in task-driven contexts, cannot be reliably indicated using any single model performance because strong protection of privacy should sustain against any malicious model that tries to steal private information. To tackle this problem, we propose two new optimization strategies of model restarting and model ensemble to achieve stronger universal privacy protection against any attacker models. Extensive experiments have been carried out and analyzed. On the other hand, given few public datasets available with both utility and privacy labels, the data-driven (supervised) learning cannot exert its full power on this task. We first discuss an innovative heuristic of cross-dataset training and evaluation, enabling the use of multiple single-task datasets (one with target task labels and the other with privacy labels) in our problem. To further address this dataset challenge, we have constructed a new dataset, termed PA-HMDB51, with both target task labels (action) and selected privacy attributes (skin color, face, gender, nudity, and relationship) annotated on a per-frame basis. This first-of-its-kind video dataset and evaluation protocol can greatly facilitate visual privacy research and open up other opportunities. Our codes, models, and the PA-HMDB51 dataset are available at https://github.com/VITA-Group/PA-HMDB51.

研究の動機と目的

• 顔や性別などの感覚的属性を露呈する可能性があるスマートカメラアプリケーションにおける視覚的プライバシーの増大する課題に対処すること。
• 行動認識のユーティリティを保持しながらプライバシー漏洩を最小限に抑える匿名化変換を学習する深層学習フレームワークを開発すること。
• あらゆる未知の攻撃者モデルに対して防御可能な戦略を設計することで、「ユニバーサルプライバシー保護」の課題を克服すること。
• ユーティリティ（行動）とプライバシーのラベルを両方備えた公開データセットの不足に対処し、51の行動と5つのプライバシー属性（顔、性別、肌色、露出、関係性）のフレームごとのアノテーションを備えたPA-HMDB51という新しいベンチマークデータセットを構築すること。
• 自動評価指標と人間による評価を併用してフレームワークを評価し、プライバシー保護とユーティリティの維持を検証すること。

提案手法

• 微分可能でない匿名化変換を介して、行動認識の正確さとプライバシー予算性能を共同最適化する対抗学習フレームワークを定式化する。
• トレーニングの安定化と性能向上を図るため、ビームサーチ、エントロピーに基づく、およびモデル再起動の3つの最適化戦略を採用する。
• 匿名化モデルの一般化性能を向上させるために、モデル再起動とアンサンブル技術を導入し、多様な攻撃者モデルに対する耐性を高め、ユニバーサルプライバシーの「∀チャレンジ」に対処する。
• 既存のユーティリティまたはプライバシーのラベルを備えたデータセットを活用するため、クロスデータセットトレーニングと評価プロトコルを採用し、ドメインギャップの問題を軽減する。
• 51の行動と5つのプライバシー属性（顔、性別、肌色、露出、関係性）のフレームごとのアノテーションを備えた、PA-HMDB51という新しい動画データセットを構築し、エンドツーエンドの評価を可能にする。
• ユーティリティ（行動認識）とプライバシー（属性予測）の目的を組み合わせたマルチタスク損失を採用し、プライバシー抑制のための適応的しきい値を設定する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの深層学習フレームワークは、動画データにおける行動認識性能とプライバシー保護のバランスを効果的にとることができるか？
• RQ2 特定の攻撃者モデルに限定せず、あらゆる潜在的攻撃者モデルに対してユニバーサルプライバシー保護を達成できるか？
• RQ3 モデル再起動とアンサンブル戦略は、未知の攻撃者モデルに対する匿名化の耐性をどの程度向上させることができるか？
• RQ4 行動とプライバシーの両方のアノテーションを備えた新しい統合データセット上で評価された場合、本フレームワークはどの程度の性能を示すか？
• RQ5 人間の評価者は、匿名化された動画において行動を正確に識別できるが、顔や性別などのプライバシー属性を識別できなくなるか？

主な発見

• M=4のとき、プライバシーcMAP（包括的平均平均精度）が約8%低下したが、行動認識の正確さにほとんど劣化がなく、効果的なプライバシー・ユーティリティトレードオフを示した。
• モデル再起動とアンサンブル戦略は、特に未知の攻撃者モデルに対して、プライバシー保護を顕著に向上させ、ベースライン手法を上回るユニバーサルプライバシー防御性能を示した。
• 人間評価の結果、匿名化された動画において行動は依然として識別可能である一方、顔や性別などのプライバシー属性は人間の観察者には認識できなくなった。
• 「顔」属性は「性別」よりも容易に抑制可能であり、非対称な保護コストを示しており、体のシルエットや衣服の特徴から性別はより耐性があることが示唆された。
• PA-HMDB51データセットにより、同じデータ上でプライバシーとユーティリティを一貫して評価でき、従来のクロスデータセットプロトコルに見られるドメインシフトの問題が軽減された。
• M=4のOurs-Entropy（再起動）手法が、ナーブなダウンサンプリングや他のベースラインと比較して、すべての評価指標で最良のトレードオフを達成した。