[論文レビュー] Privacy Leakage of SIFT Features via Deep Generative Model based Image Reconstruction

Haiwei Wu, Jiantao Zhou|arXiv (Cornell University)|Sep 2, 2020

Digital Media Forensic Detection参考文献 56被引用数 6

ひとこと要約

本稿では、粗くから細かくまで一貫したエンドツーエンドのフレームワークを用いてSIFT特徴量から画像を再構築する、新規な深層生成モデルSIFT-LBP-Image（SLI）を提案する。まずSIFT特徴量を局所的バイナリーパターン（LBP）特徴量に変換して構造的レイアウトを回復し、次にLBPをガイドとして画素値を再構築する。この手法は、完全なSIFT特徴量からの画像再構築品質において最先端の性能を達成し、SIFT座標のみで驚くほど良好な再構築が可能であることを示しており、プライバシー保護の観点から座標の保護が極めて重要であることを強調している。

ABSTRACT

Many practical applications, e.g., content based image retrieval and object recognition, heavily rely on the local features extracted from the query image. As these local features are usually exposed to untrustworthy parties, the privacy leakage problem of image local features has received increasing attention in recent years. In this work, we thoroughly evaluate the privacy leakage of Scale Invariant Feature Transform (SIFT), which is one of the most widely-used image local features. We first consider the case that the adversary can fully access the SIFT features, i.e., both the SIFT descriptors and the coordinates are available. We propose a novel end-to-end, coarse-to-fine deep generative model for reconstructing the latent image from its SIFT features. The designed deep generative model consists of two networks, where the first one attempts to learn the structural information of the latent image by transforming from SIFT features to Local Binary Pattern (LBP) features, while the second one aims to reconstruct the pixel values guided by the learned LBP. Compared with the state-of-the-art algorithms, the proposed deep generative model produces much improved reconstructed results over three public datasets. Furthermore, we address more challenging cases that only partial SIFT features (either SIFT descriptors or coordinates) are accessible to the adversary. It is shown that, if the adversary can only have access to the SIFT descriptors while not their coordinates, then the modest success of reconstructing the latent image can be achieved for highly-structured images (e.g., faces) and would fail in general settings. In addition, the latent image can be reconstructed with reasonably good quality solely from the SIFT coordinates. Our results would suggest that the privacy leakage problem can be largely avoided if the SIFT coordinates can be well protected.

研究の動機と目的

• SIFT特徴量が画像再構築を可能にすることで、どの程度プライバシーが漏洩するかを調査すること。
• 部分的な特徴量の露出下でも、SIFT特徴量から潜在的な画像を再構築できる深層生成モデルの開発。
• 特に信頼できない環境下において、SIFT記述子と座標の両者を別々に評価し、プライバシーへの影響を検証すること。
• SIFT座標が疎なバイナリーマップとして表現されても、構造的情報を十分に保持しており、意味的な画像再構築が可能であることを示すこと。
• 実用的応用におけるSIFT特徴量の保護に役立つ実践的知見を提供し、特に感受性の高いコンponentsを特定すること。

提案手法

• SIFT特徴量からの画像再構築を目的としたエンドツーエンドで粗くから細かくまで処理する深層生成モデルSIFT-LBP-Image（SLI）を提案する。
• 2段階のアーキテクチャを採用：まず、SIFT記述子をLBP特徴量に変換するLBP再構築ネットワークを用いて構造的レイアウトを捉える。
• 次に、予測されたLBP特徴量をガイドとして画素レベルの画像を生成する画像再構築ネットワークを用いる。
• 座標が欠落している場合に、記述子のみからSIFT座標を推定するためのランドマークベースおよびリファレンスベースの手法を導入する。
• 特に顔のような構造的画像において、リファレンス画像を用いることで座標推定の精度を向上させる。
• 再構築の現実性と構造的忠実性を向上させるために、知覚的損失および敵対的損失を用いる。

実験結果

リサーチクエスチョン

• RQ1 SIFT特徴量（記述子と座標）をすべて使用した場合、深層生成モデリングを用いてどの程度潜在的な画像を再構築できるか？
• RQ2 座標が欠落している状況で、SIFT記述子のみを用いても意味的な画像再構築が可能か？
• RQ3 SIFT座標のみ（スパースなバイナリーマップとして表現）で高品質な画像再構築が可能か？
• RQ4 顔と自然風景などの異なる画像カテゴリ間で、再構築性能にどのような差が生じるか？
• RQ5 SIFTベースのシステムにおけるプライバシー漏洩に対して、記述子と座標の両者が果たす相対的寄与度はどの程度か？

主な発見

• 提案されたSLIモデルは、CelebA-HQデータセットにおいて、PSNRが18.95、FIDが22.6を達成し、完全なSIFT特徴量からの画像再構築で最先端の性能を示した。
• SIFT記述子のみが利用可能な場合、ランドマークベース手法（SLI-L）はCelebA-HQでPSNRが13.70、FIDが181.0を達成し、構造的画像においては限定的だが検出可能な再構築が可能であることを示した。
• リファレンスベース手法（SLI-R）はSLI-Lを著しく上回り、CelebA-HQでPSNRが14.60、FIDが148.4を達成し、PSNRで0.9 dBの向上を示した。
• SIFT座標のみ（バイナリーマップとして）からの再構築では、CelebA-HQでPSNRが13.88、FIDが122.4を達成し、記述子のみの手法を上回り、強力な構造的回復が可能であることを示した。
• MD-NYU や ImageNet などの汎用データセットでは、記述子のみおよび座標のみの再構築性能ともに低く、PSNRが13未満、FIDが300を超える結果となり、再構築品質が画像の構造に強く依存することを示した。
• 結果から、SIFT座標はプライバシー上の重大なリスクであると示唆され、特に顔画像においては驚くほど良好な再構築が可能であるため、座標の保護がプライバシー漏洩を防ぐために不可欠であることが明らかになった。