[논문 리뷰] Privacy Leakage of SIFT Features via Deep Generative Model based Image Reconstruction

Haiwei Wu, Jiantao Zhou|arXiv (Cornell University)|2020. 09. 02.

Digital Media Forensic Detection참고 문헌 56인용 수 6

한 줄 요약

이 논문은 SIFT 기능에서 이미지를 재구성하기 위해 코arse-to-fine, 엔드 투 엔드 프레임워크를 사용하는 새로운 딥 생성 모델인 SIFT-LBP-이미지(SLI)를 제안한다. 먼저 SIFT 기능을 구조적 레이아웃을 복구하기 위해 局부 이진 패턴(LBP) 기능으로 변환한 후, LBP를 가이던스로 픽셀 값의 재구성을 수행한다. 이 방법은 전체 SIFT 기능으로부터 최신 기술 수준의 이미지 재구성 품질을 달성하며, SIFT 좌표만으로도 놀라울 정도로 양호한 재구성을 가능하게 함으로써, 좌표 보호가 개인정보 보호에 있어 핵심임을 시사한다.

ABSTRACT

Many practical applications, e.g., content based image retrieval and object recognition, heavily rely on the local features extracted from the query image. As these local features are usually exposed to untrustworthy parties, the privacy leakage problem of image local features has received increasing attention in recent years. In this work, we thoroughly evaluate the privacy leakage of Scale Invariant Feature Transform (SIFT), which is one of the most widely-used image local features. We first consider the case that the adversary can fully access the SIFT features, i.e., both the SIFT descriptors and the coordinates are available. We propose a novel end-to-end, coarse-to-fine deep generative model for reconstructing the latent image from its SIFT features. The designed deep generative model consists of two networks, where the first one attempts to learn the structural information of the latent image by transforming from SIFT features to Local Binary Pattern (LBP) features, while the second one aims to reconstruct the pixel values guided by the learned LBP. Compared with the state-of-the-art algorithms, the proposed deep generative model produces much improved reconstructed results over three public datasets. Furthermore, we address more challenging cases that only partial SIFT features (either SIFT descriptors or coordinates) are accessible to the adversary. It is shown that, if the adversary can only have access to the SIFT descriptors while not their coordinates, then the modest success of reconstructing the latent image can be achieved for highly-structured images (e.g., faces) and would fail in general settings. In addition, the latent image can be reconstructed with reasonably good quality solely from the SIFT coordinates. Our results would suggest that the privacy leakage problem can be largely avoided if the SIFT coordinates can be well protected.

연구 동기 및 목표

• SIFT 기능이 얼마나 개인정보를 泄露할 수 있는지, 즉 이미지 재구성 가능성을 조사하는 것.
• 부분적인 기능 노출 조건에서도 SIFT 기능에서 잠재적 이미지를 재구성할 수 있는 딥 생성 모델을 개발하는 것.
• 특히 신뢰할 수 없는 환경에서 SIFT 서술자와 좌표를 별도로 평가하여 개인정보 유출 영향을 평가하는 것.
• SIFT 좌표가 비록 희박하지만, 의미 있는 이미지 재구성을 가능하게 하는 구조적 정보를 함축하고 있음을 입증하는 것.
• 실세계 응용에서 SIFT 기능을 보호하기 위한 실용적 통찰을 제공하여, 가장 민감한 구성 요소를 특정하는 것.

제안 방법

• SIFT 기능에서 이미지 재구성을 위한 엔드 투 엔드, 코arse-to-fine 딥 생성 모델인 SIFT-LBP-이미지(SLI)를 제안한다.
• 두 단계 아키텍처를 사용한다: 첫 번째로, LBP 재구성 네트워크는 SIFT 서술자를 LBP 기능으로 변환하여 구조적 레이아웃을 캡처한다.
• 두 번째로, 이미지 재구성 네트워크는 예측된 LBP 기능을 가이던스로 픽셀 수준의 이미지를 생성한다.
• 좌표가 누락된 경우, 서술자만으로도 SIFT 좌표를 추정하기 위한 랜드마크 기반 및 참조 기반 방법을 도입한다.
• 특히 얼굴과 같은 구조적 이미지에서 좌표 추정 정확도를 향상시키기 위해 기준 이미지를 사용한다.
• 재구성의 현실성과 구조적 정밀도를 향상시키기 위해 지각적 손실 및 적대적 손실을 사용한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델링을 통해 전체 SIFT 기능(서술자 및 좌표 포함)으로부터 잠재적 이미지를 어느 정도 재구성할 수 있는가?
• RQ2 좌표 없이 SIFT 서술자만으로도 의미 있는 이미지 재구성을 달성할 수 있는가?
• RQ3 SIFT 좌표만—희박한 이진 맵 형태로 표현되더라도—고품질의 이미지 재구성을 가능하게 하는가?
• RQ4 다양한 이미지 카테고리(예: 얼굴 대비 자연 풍경) 간 재구성 성능는 어떻게 달라지는가?
• RQ5 SIFT 기반 시스템에서 서술자와 좌표 중 어느 것이 개인정보 유출에 더 큰 기여를 하는가?

주요 결과

• 제안된 SLI 모델은 전체 SIFT 기능에서 이미지 재구성을 위해 최신 기술 수준의 성능를 달성하였으며, CelebA-HQ 데이터셋에서 PSNR 18.95와 FID 22.6을 기록하였다.
• SIFT 서술자만 존재할 경우, 랜드마크 기반 방법(SLI-L)은 CelebA-HQ에서 PSNR 13.70과 FID 181.0을 기록하여, 구조적 이미지에 대해 제한적이나마 검출 가능한 재구성을 가능하게 하였다.
• 참조 기반 방법(SLI-R)은 SLI-L을 크게 능가하여 CelebA-HQ에서 PSNR 14.60과 FID 148.4를 기록하였으며, PSNR에서 0.9 dB의 향상이 있었다.
• SIFT 좌표만으로도 재구성(이진 맵 형태로 표현)한 결과, CelebA-HQ에서 PSNR 13.88과 FID 122.4를 기록하였으며, 서술자 전용 방법보다 뛰어난 성능을 보여 구조적 복구 능력이 뛰어남을 시사하였다.
• MD-NYU 및 ImageNet과 같은 일반적인 데이터셋에서는 서술자 전용 및 좌표 전용 재구성 모두 성능이 열악하여 PSNR가 13 이하, FID가 300 이상이었으며, 이는 재구성 품질이 이미지의 구조에 크게 의존함을 시사하였다.
• 결과적으로 SIFT 좌표는 개인정보 유출의 주요 위험 요소임을 시사하며, 특히 얼굴에 대해선 놀라울 정도로 양호한 재구성을 가능하게 하므로, 개인정보 유출을 방지하기 위해 좌표 보호가 필수적임을 의미한다.