[논문 리뷰] Demography-based Facial Retouching Detection using Subclass Supervised Sparse Autoencoder

Aparna Bharati, Mayank Vatsa외 3명|arXiv (Cornell University)|2017. 09. 22.

Face recognition and analysis참고 문헌 27인용 수 3

한 줄 요약

이 논문은 인구통계학적 특성에 민감한 얼굴 리터치 감지에 대한 새로운 서브클래스 지도형 희소 오토에코더(S³A)를 제안하며, 남성/여성 및 3개의 민족(백인, 중국인, 인도인)에 대해 두 가지 리터치 툴(BeautyPlus 및 PortraitPro)을 사용해 제작한 Multi-Demographic Retouched Faces(MDRF) 데이터셋을 도입한다. 제안된 방법은 다양한 인구통계학적 배경에서 높은 정확도를 달성하여 남성의 경우 95.9%, 여성의 경우 94.3%의 정확도를 기록하며 기존 최고 성능(SOTA) 모델을 능가하며, 특히 이질적 민족 간 검출에서 뛰어난 성능을 보인다.

ABSTRACT

Digital retouching of face images is becoming more widespread due to the introduction of software packages that automate the task. Several researchers have introduced algorithms to detect whether a face image is original or retouched. However, previous work on this topic has not considered whether or how accuracy of retouching detection varies with the demography of face images. In this paper, we introduce a new Multi-Demographic Retouched Faces (MDRF) dataset, which contains images belonging to two genders, male and female, and three ethnicities, Indian, Chinese, and Caucasian. Further, retouched images are created using two different retouching software packages. The second major contribution of this research is a novel semi-supervised autoencoder incorporating "subclass" information to improve classification. The proposed approach outperforms existing state-of-the-art detection algorithms for the task of generalized retouching detection. Experiments conducted with multiple combinations of ethnicities show that accuracy of retouching detection can vary greatly based on the demographics of the training and testing images.

연구 동기 및 목표

• 성별 및 민족과 같은 인구통계학적 요인이 얼굴 리터치 감지 알고리즘의 성능에 미치는 영향을 조사하는 것.
• 기존 방법들이 리터치 감지에서 인구통계학적 다양성을 고려하지 않는 격차를 보완하는 것.
• 다양한 민족 및 성별 집단에서 높은 정확도를 유지할 수 있는 일반화된 감지 프레임워크를 개발하는 것.
• 다양한 인구통계학적 배경과 리터치 툴을 고려해 제어된 리터치를 포함한 새로운 벤치마크 데이터셋인 MDRF를 도입하는 것.
• 서브클래스 수준의 지도 학습을 통합한 준지도형 오토에코더를 통해 모델 일반화 능력을 향상시키는 것.

제안 방법

• 서브클래스 정보를 희소 오토에코더 학습에 통합하여 리터치 감지에 적합한 특징 학습을 향상시키는 Subclass Supervised Sparse Autoencoder(S³A)를 제안한다.
• 325명의 피험자(백인, 중국인, 인디언)와 성별을 포함한 세 가지 민족에 대해, 두 가지 다른 소프트웨어 툴(BehautyPlus 및 PortraitPro)를 사용해 리터치 처리된 이미지를 포함한 MDRF 데이터셋을 사용한다.
• 이중 단계 학습 프로세스를 적용한다: 먼저 레이블이 없는 데이터로 희소 오토에코더를 사전 학습하고, 이후 서브클래스 수준의 지도 학습을 통해 원본 이미지와 리터치된 이미지를 구분하도록 보정한다.
• S³A 프레임워크의 입력으로 VGG-Face 특징을 활용하여 깊이 있는 표현 학습과 희소 코딩을 융합해 분류 능력을 향상시킨다.
• 성별 및 민족을 서브클래스 레이블로 활용하여 희소성과 분류 능력을 동시에 확보하는 새로운 손실 함수를 도입한다.
• 다양한 인구통계학적 집단 간 일반화 능력을 평가하기 위해 이질적 민족 및 성별로 구성된 학습/테스트 프로토콜을 평가한다.

실험 결과

연구 질문

• RQ1 학습 및 테스트 데이터의 인구통계학적 구성이 얼굴 리터치 감지 정확도에 어떤 영향을 미치는가?
• RQ2 성별 및 민족과 같은 서브클래스 정보를 포함한 준지도형 오토에코더가 다양한 인구집단에서 감지 성능을 향상시킬 수 있는가?
• RQ3 제안된 S³A 모델은 기존 최고 성능(SOTA) 모델 대비 다양한 민족 및 성별에서 정확도와 일반화 능력 측면에서 어떻게 비교되는가?
• RQ4 동일한 리터치 툴을 사용할 때, 다양한 민족 집단(Caucasian, Chinese, Indian) 간 감지 난이도는 어떻게 다른가?
• RQ5 리터치 툴의 선택(BehautyPlus 대비 PortraitPro)이 인구통계학적 배경에 따라 감지 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 S³A 모델은 남성 피험자에서 95.9%의 감지 정확도를 기록했으며, 여성 피험자에서는 94.3%를 달성하여 Bharati 등 [13]의 결과(90.3% 및 85.9%)와 VGG+SVM(79.3% 및 73.8%)를 크게 능가한다.
• 이질적 민족 간 평가에서, S³A 모델은 백인 데이터로 학습했을 때 백인 테스트 세트에서 94.3%, 중국인에서 91.9%, 인도인에서 92.2%의 정확도를 기록하여 강력한 일반화 능력을 입증한다.
• 모든 이질적 민족 간 시나리오에서 최소 표준편차(±1.1%에서 ±2.3%)를 보이며, 높은 강건성과 일관성을 나타낸다.
• 리터치 감지가 가장 어려운 얼굴은 인도인 얼굴이며, 인도인 데이터로 학습했을 때 정확도는 92.2%였고, 중국인 얼굴은 가장 쉽게 감지되었으며, 중국인 데이터로 학습했을 때 정확도는 97.5%였다.
• S³A 프레임워크는 모든 인구통계학적 조합에서 감지 성능을 향상시켰으며, 특히 이질적 민족 간 설정에서 가장 큰 향상이 관찰되어 일반화된 감지에 효과적임을 확인한다.
• 연구 결과, 툴 2(PortraitPro)에서의 리터치 감지는 툴 1(BehautyPlus)보다 약간 더 어려운 것으로 나타났으며, 모든 인구집단에서 정확도가 1.4–3.0% 감소하였다.