[논문 리뷰] Darker than Black-Box: Face Reconstruction from Similarity Queries

Anton Razzhigaev, Klim Kireev외 2명|arXiv (Cornell University)|2021. 06. 27.

Face recognition and analysis참고 문헌 22인용 수 4

한 줄 요약

이 논문은 얼굴 인식 시스템의 유사도 점수 쿼리만을 사용하여 고해상도로 구분 가능한 얼굴을 복원하는 새로운 블랙박스 얼굴 복원 방법을 제안한다. 모델 아키텍처나 임bedding에 접근할 수 없더라도 가능하다. 대칭성과 생성 정규화를 활용한 다중 시작 최적화를 통해 기존 방법보다 더 적은 쿼리 수로 더 높은 유사도 점수를 달성하며, 이는 ArcFace 검증에서 실제 얼굴을 초월하는 성능을 보인다.

ABSTRACT

Several methods for inversion of face recognition models were recently presented, attempting to reconstruct a face from deep templates. Although some of these approaches work in a black-box setup using only face embeddings, usually, on the end-user side, only similarity scores are provided. Therefore, these algorithms are inapplicable in such scenarios. We propose a novel approach that allows reconstructing the face querying only similarity scores of the black-box model. While our algorithm operates in a more general setup, experiments show that it is query efficient and outperforms the existing methods.

연구 동기 및 목표

• 공격자가 모델의 임베딩이나 아키텍처에 접근하지 못하고도 얼굴 인식 시스템의 유사도 점수 쿼리만으로도 얼굴을 복원할 수 있는 개인정보 유출 위험을 해결하기 위해.
• 모델 가중치, 임베딩, 아키텍처에 대한 접근이 전혀 없는 가장 제한적인 블랙박스 환경에서도 고해상도 복원을 달성할 수 있는 방법을 개발하기 위해.
• 기존의 임베딩이나 화이트박스 접근에 의존하는 방법들과 비교해 쿼리 효율성과 복원 품질을 향상시키기 위해.
• 이전 연구를 확장하여 다중 시작 최적화와 정규화를 통해 색상 얼굴 복원과 국소 최소값에 대한 강건성을 확보하기 위해.

제안 방법

• 이 방법은 블랙박스 모델의 임베딩 공간에서 목표 신원과의 최대 유사도를 갖는 합성 이미지를 생성하기 위해 반복 최적화를 수행하며, 유사도 점수 쿼리만을 사용한다.
• 국소 최소값을 회피하고 정확한 신원로의 수렴을 향상시키기 위해 10회의 재시작과 각 재시작당 100회의 반복을 포함한 다중 시작 전략을 적용한다.
• 재구성된 얼굴이 대칭이 되도록 유도함으로써 시각적 타당성과 신원 일관성을 향상시키기 위해 대칭 정규화를 적용한다.
• 사전 학습된 GAN(예: StyleGAN)을 사용해 최적화 과정을 현실적인 얼굴 분포로 유도함으로써 이미지 품질을 향상시키는 생성 정규화를 사용한다.
• 쿼리 유사도와 목표 유사도 간의 MSE 손실에 더해 인지적 손실 및 정규화 항을 포함하는 손실을 최소화한다.
• 기본 모델에 종속되지 않으며, 어떤 얼굴 인식 시스템이라도 유사도 점수를 노출하는 경우에 모두 작동한다.

실험 결과

연구 질문

• RQ1 블랙박스 얼굴 인식 시스템에 대한 유사도 점수 쿼리만으로도 임베딩이나 아키텍처에 접근하지 않고도 얼굴을 복원할 수 있는가?
• RQ2 이러한 제한적인 쿼리 접근 조건에서 최적화가 국소 최소값에 강건하게 작동하도록 하는 방법은 무엇인가?
• RQ3 블랙박스 환경에서 복원 품질과 신원 일치도를 향상시키는 정규화 기법은 무엇인가?
• RQ4 제안된 방법은 기존 방법과 비교해 쿼리 효율성과 원본 얼굴과의 유사도 측면에서 어떻게 성능을 냈는가?
• RQ5 재구성된 얼굴을 사용할 때 LFW에서 높은 검증 정확도를 달성할 수 있으며, 실제 얼굴 점수를 초월할 수 있는가?

주요 결과

• 제안된 방법은 LFW 데이터셋에서 재구성된 얼굴과 원본 얼굴 간 평균 ArcFace 유사도가 0.98을 기록하여 모든 베이스라인을 능가한다.
• 재구성된 얼굴을 사용할 때 LFW에서 98.5%의 검증 정확도를 달성하였으며, 동일한 모델에서 실제 얼굴의 97.8%보다 높은 성능을 보였다.
• 10회의 다중 시작과 각 시작당 100회의 반복을 통해 95%의 테스트 케이스에서 국소 최소값을 피할 수 있었으며, 이는 수렴 신뢰도를 크게 향상시켰다.
• 대칭성과 생성 정규화를 추가함으로써 표준 MSE 최적화 대비 평균 유사도 점수에서 12% 향상이 이루어졌다.
• 평균적으로 각 재구성에 16,000회의 쿼리만을 요구하여 이전의 블랙박스 방법보다 더 쿼리 효율적이었다.
• 이전의 블랙박스 복원 접근 방식에서 구현되지 않았던 색상 얼굴 복원을 성공적으로 수행하였다.