[論文レビュー] Image Obfuscation for Privacy-Preserving Machine Learning

Mathilde Raynal, Radhakrishna Achanta+1 more|arXiv (Cornell University)|Oct 20, 2020

Adversarial Robustness in Machine Learning参考文献 60被引用数 10

ひとこと要約

本論文は、視覚的プライバシーを画像の不鮮明化技術において定量的に測定する手法を提案する。SSIM や HaarPSI といった人間の知覚に整合する画像品質指標を用いて、プライバシーの閾値を設定する。最適な不鮮明化レベルを用いることで、深層学習モデルは元の画像とほぼ同等の精度（数パcentポイント程度の低下）を維持しつつ、人間およびAIベースの認識・再構築攻撃に対して効果的に耐性を持つことが示された。

ABSTRACT

Privacy becomes a crucial issue when outsourcing the training of machine learning (ML) models to cloud-based platforms offering machine-learning services. While solutions based on cryptographic primitives have been developed, they incur a significant loss in accuracy or training efficiency, and require modifications to the backend architecture. A key challenge we tackle in this paper is the design of image obfuscation schemes that provide enough privacy without significantly degrading the accuracy of the ML model and the efficiency of the training process. In this endeavor, we address another challenge that has persisted so far: quantifying the degree of privacy provided by visual obfuscation mechanisms. We compare the ability of state-of-the-art full-reference quality metrics to concur with human subjects in terms of the degree of obfuscation introduced by a range of techniques. By relying on user surveys and two image datasets, we show that two existing image quality metrics are also well suited to measure the level of privacy in accordance with human subjects as well as AI-based recognition, and can therefore be used for quantifying privacy resulting from obfuscation. With the ability to quantify privacy, we show that we can provide adequate privacy protection to the training image set at the cost of only a few percentage points loss in accuracy.

研究の動機と目的

• 画像の不鮮明化手法における視覚的プライバシーの定量的指標の欠如に対処すること。
• フルレファレンス画像品質指標が不鮮明化の知覚にどの程度整合しているかを評価すること。
• プライバシーを保ちつつモデルの有用性を維持するための画像劣化の数値的閾値を設定すること。
• 不鮮明化が深層学習ベースの再構築攻撃に対してどの程度効果的であるかを評価すること。
• 不鮮明化データを用いた深層学習モデル学習におけるプライバシーと有用性のトレードオフを最適化すること。

提案手法

• 混同（mixup）を組み合わせることで、制御された劣化度を持つ多様な訓練データを生成する。
• 2つの画像データセットを用いたユーザーサーベイを通じて、不鮮明化レベルの人の知覚を評価する。
• 人間の知覚と一致するかを検証するため、画像品質指標（SSIM、HaarPSI）を人間の知覚と比較する。
• 選択された指標（SSIM、HaarPSI）をプライバシーの定量的指標として用い、許容可能な画像劣化の客観的閾値を定義する。
• Google Vision AI および McPherson らの深層学習ベースの再構築攻撃を用いて、プライバシー保護の有効性をテストする。
• 複数の不鮮明化手法におけるプライバシーと有用性のトレードオフを評価し、ノイズとミックスアップが最適であると特定する。

実験結果

リサーチクエスチョン

• RQ1 どのフルレファレンス画像品質指標が、画像不鮮明化の知覚に最も相関しているか？
• RQ2 画像品質指標を用いて、不鮮明化画像における視覚的プライバシーを客観的に定量化できるか？
• RQ3 SSIM や HaarPSI で測定した画像劣化のどの程度の水準が、画像が人間には認識不能になるかを保証するか？
• RQ4 不鮮明化手法の選択が、不鮮明化データを用いて学習した深層学習モデルの精度にどのように影響するか？
• RQ5 不鮮明化画像は、人間の観察者および Google Vision などのAIシステムに対して、どの程度認識されにくいか？

主な発見

• SSIM および HaarPSI は、不鮮明化の度合いを評価するにあたり、人間の知覚と最も一貫性があった。
• SSIM メトリクスで約 0.4 の閾値が、人間が画像を認識できなくなるのに十分であり、同時にモデルの有用性を維持できることが特定された。
• 提案されたプライバシー定量化手法により、閾値を満たした場合、Google Vision AI による認識精度がほぼゼロにまで低下した。
• ノイズとミックスアップを組み合わせた不鮮明化手法が、最も優れたプライバシーと有用性のトレードオフを達成し、モデルの精度は非不鮮明化データと比較して僅か 2–3 パーセンテージポイントの低下にとどまった。
• 最適なプライバシーパrametersを有する不鮮明化機構により、McPherson らの深層学習ベースの再構築攻撃の成功率が 10% 未満に著しく低下した。
• 本研究は、画像品質指標を再利用して信頼性のあるプライバシー定量化指標として用いることができることを確認した。これにより、不鮮明化レベルの体系的評価とチューニングが可能になった。