[논문 리뷰] VGAN-Based Image Representation Learning for Privacy-Preserving Facial Expression Recognition

Jiawei Chen, Janusz Konrad외 1명|arXiv (Cornell University)|2018. 03. 19.

Face recognition and analysis참고 문헌 24인용 수 12

한 줄 요약

이 논문은 사생활 보호를 위한 표정 인식을 위한 신뢰성 있는 얼굴 표현을 학습하는 변동형 GAN 프레임워크인 PPRL-VGAN을 제안한다. 잠재 공간에서 신원과 표정을 분리함으로써, 새로운 신원을 가진 실제적인, 표정을 유지하는 얼굴 이미지 합성을 가능하게 하면서도, 다양한 위협 상황에서도 높은 표정 인식 정확도와 시각적 유용성을 유지한다.

ABSTRACT

Reliable facial expression recognition plays a critical role in human-machine interactions. However, most of the facial expression analysis methodologies proposed to date pay little or no attention to the protection of a user's privacy. In this paper, we propose a Privacy-Preserving Representation-Learning Variational Generative Adversarial Network (PPRL-VGAN) to learn an image representation that is explicitly disentangled from the identity information. At the same time, this representation is discriminative from the standpoint of facial expression recognition and generative as it allows expression-equivalent face image synthesis. We evaluate the proposed model on two public datasets under various threat scenarios. Quantitative and qualitative results demonstrate that our approach strikes a balance between the preservation of privacy and data utility. We further demonstrate that our model can be effectively applied to other tasks such as expression morphing and image completion.

연구 동기 및 목표

• 스마트 환경에서 사용되는 표정 인식 시스템의 시각적 사생활 보호 문제에 대응하기 위해.
• 사용자 신원을 유지하면서도 표정 인식 작업에 대해 높은 유용성을 확보하는 방법을 개발하기 위해.
• 기존 신원을 가진 새로운 신원으로의 실제적이고 표정을 유지하는 얼굴 이미지 합성을 가능하게 하기 위해, 시각적 품질을 해치지 않도록 하기 위해.
• 표정 인식 외에도 표정의 변형 및 이미지 보완과 같은 응용 분야로의 프레임워크 적용 가능성을 입증하기 위해.
• 다양한 위협 상황에서 모델의 강건성을 검증하기 위해 사생활 보호 설정에서의 성능을 평가하기 위해.

제안 방법

• 모델는 변동형 오토인코더(Variational Autoencoder, VAE)와 생성적 적대적 네트워크(GAN)를 결합하며, GAN의 랜덤 노이즈 입력을 입력 이미지를 분리된 잠재 표현으로 매핑하는 VAE 인코더로 대체한다.
• 인코더는 신원에 영향을 받지 않는 잠재 표현 f(I)를 생성하고, 디코더는 특정 신원 코드 c를 가진 얼굴 이미지를 생성하면서도 입력의 표정을 유지한다.
• 다중 작업 판별자는 실제 이미지와 생성된 이미지를 구분하고, 신원을 식별하며, 표정을 분류하는 데 훈련되어, 현실성과 분리도를 향상시키기 위한 피드백을 제공한다.
• 잠재 표현 f(I)는 표정 인식에 사용되며, 디코더는 다른 신원을 가진 표현 동일 이미지의 합성을 가능하게 한다.
• 잠재 공간 내 선형 보간을 통해 서로 다른 표정 표현 간에 부드럽게 전이되는 표정의 변형을 가능하게 한다.
• 이미지 보완을 위해 모델은 잠재 코드와 신원 코드에서 전체 얼굴을 생성한 후, 마스킹된 영역을 합성된 내용으로 대체함으로써 누락된 얼굴 영역을 복원한다.

실험 결과

연구 질문

• RQ1 심층 생성 모델이 표정 인식에 대해 판별력이 있으며 동시에 신원에 대해 불변인 얼굴 표현을 학습할 수 있는가?
• RQ2 표현 인식 작업에 대한 데이터 유용성을 유지하면서 얼마나 효과적으로 시각적 사생활을 보호할 수 있는가?
• RQ3 합성 및 인식 작업에서 예측할 수 없는 신원과 표정 카테고리로의 일반화 능력은 어느 정도인가?
• RQ4 학습된 잠재 공간이 표정의 변형 및 이미지 보완과 같은 후속 응용 분야를 지원할 수 있는가?
• RQ5 신원 추론 및 표정 인식 공격을 포함한 다양한 위협 모델 하에서 모델의 성능은 어떠한가?

주요 결과

• PPRL-VGAN 모델은 FERG 및 MUG 데이터셋에서 신원이 숨겨진 상태에서도 높은 표정 인식 정확도를 달성하여 신원과 표정 간의 효과적인 분리를 입증한다.
• 세 가지 위협 상황에서의 정량적 평가 결과, 모델은 신원 泄露를 크게 감소시키면서도 표정 인식 성능를 유지함을 확인하였다.
• qualitative 및 quantitative 결과를 통해, 모델은 원래의 표정을 유지하면서도 새로운 신원을 가진 실제적인 얼굴 이미지를 성공적으로 합성함을 입증하였다.
• 잠재 공간 내 선형 보간을 통한 표정의 변형은 서로 다른 표정 간에 매끄럽고 의미적으로 유의미한 전이를 생성한다.
• 이미지 보완 결과는 모델이 눈과 눈썹과 같은 핵심 특징이 존재할 경우 높은 정밀도로 누락된 얼굴 영역을 복원할 수 있음을 보여주었다.
• 비록 중요한 표정 단서(예: 좁아진 눈 또는 내린 눈썹)가 마스킹된 경우 모델이 종종 실패함을 확인하였으며, 이는 중요한 특징이 누락되었을 경우 민감도가 높다는 것을 시사한다.