[논문 리뷰] Privacy-Preserving Visual Feature Descriptors through Adversarial Affine Subspace Embedding

Mihai Dusmanu, Johannes L. Schönberger외 2명|arXiv (Cornell University)|2020. 06. 11.

Face recognition and analysis인용 수 5

한 줄 요약

이 논문은 적대적 샘플을 사용하여 원본 특징을 애파인 부분공간에 통합함으로써 기밀을 보장하는 시각적 특징 기술자를 제안한다. 이는 부분공간 간 거리 측정을 통해 안전한 특징 매칭을 가능하게 한다. 이 방법은 매칭 성능을 유지하면서도 기밀 이미지 콘텐츠의 복원을 크게 어렵게 한다.

ABSTRACT

Many computer vision systems require users to upload image features to the cloud for processing and storage. Such features can be exploited to recover sensitive information about the scene or subjects, e.g., by reconstructing the appearance of the original image. To address this privacy concern, we propose a new privacy-preserving feature representation. The core idea of our work is to drop constraints from each feature descriptor by embedding it within an affine subspace containing the original feature as well as one or more adversarial feature samples. Feature matching on the privacy-preserving representation is enabled based on the notion of subspace-to-subspace distance. We experimentally demonstrate the effectiveness of our method and its high practical relevance for applications such as crowd-sourced 3D scene reconstruction and face authentication. Compared to the original features, our approach has only marginal impact on performance but makes it significantly more difficult for an adversary to recover private information.

연구 동기 및 목표

• 업로드된 특징이 장면이나 주제에 대한 민감한 정보를 泄露할 수 있는 클라우드 기반 컴퓨터 비전에서의 기밀 위험을 해결하기 위해.
• 매칭 및 인식과 같은 후속 작업에 유용성을 유지하면서도 복원 공격에 저항할 수 있는 특징 표현을 개발하기 위해.
• 원본 이미지의 세부 정보를暴露하지 않고도 코너스톤드 3D 복원 및 얼굴 인증과 같은 애플리케이션에서 안전한 특징 공유를 가능하게 하기 위해.
• 기본 특징에 비해 성능 저하를 최소화하면서도 기밀 泄露에 대한 저항력을 극대화하기 위해.

제안 방법

• 이 방법은 각 원본 특징 기술자를 원본 특징과 하나 이상의 적대적 특징 샘플을 포함하는 애파인 부분공간에 통합한다.
• 특징 매칭은 기존의 기술자 간 비교 대신 부분공간 간 거리 측정 기반으로 수행된다.
• 적대적 샘플은 복원 시도를 혼란스럽게 하면서도 매칭에 유용한 기하학적 관계를 유지하도록 설계된다.
• SIFT나 딥 페처와 같은 표준 특징 기술자를 대상으로 작동함으로써 기존 비전 파이프라인과의 호환성을 유지한다.
• 애파인 부분공간 통합은 변환된, 기밀 보호가 강화된 표현 내에서 원본 특징을 유지한다.

실험 결과

연구 질문

• RQ1 매칭 유용성을 유지하면서도 원본 이미지의 복원이 불가능하도록 하는 특징 표현을 설계할 수 있는가?
• RQ2 애파인 부분공간에 적대적 샘플을 포함시킬 경우 특징 매칭 작업의 성능에 어떤 영향을 미치는가?
• RQ3 기본 특징 표현에 비해 제안된 방법이 기밀 泄露 위험을 어느 정도 감소시키는가?
• RQ4 실제 비전 애플리케이션에서 기밀 보호와 매칭 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 방법은 원본 특징과 거의 동일한 성능을 특징 매칭 작업에서 달성하며, 성능 저하가 극히 미미하다.
• 기밀 보장 특징에 대한 적대적 복원 공격의 성공률은 원본 특징에 비해 크게 감소한다.
• 이 방법은 통합된 특징으로부터 얼굴 신원이나 장면 세부 정보와 같은 민감한 시각 콘텐츠를 복원하는 것을 효과적으로 방지한다.
• 코너스톤드 3D 복원 및 얼굴 인증과 같은 실생활 애플리케이션에서 실용적으로 적용 가능하다.