[논문 리뷰] AFIF4: Deep Gender Classification based on AdaBoost-based Fusion of Isolated Facial Features and Foggy Faces

Mahmoud Afifi, Abdelrahman Abdelhamed|arXiv (Cornell University)|2017. 06. 13.

Face recognition and analysis인용 수 14

한 줄 요약

이 논문은 AdaBoost 기반 점수 융합을 통해 고립된 얼굴 특징과 통합적인 '안개진 얼굴' 표현을 융합하는 AFIF4라는 딥 페르소나 분류 방법을 제안한다. 개별 특징에 대해 별도의 딥 컨볼루션 신경망(CNN)을 훈련하고 예측을 융합함으로써, 여러 벤치마크에서 최신 기술 수준(SOTA) 또는 그 이상의 정확도를 달성하며, 교차 데이터셋 일반화 성능도 입증하였다. 또한, 가림 및 저조도 얼굴을 포함하는 더 도전적인 새로운 데이터셋을 제안하여 성능 향상 연구를 촉진한다.

ABSTRACT

Gender classification aims at recognizing a person's gender. Despite the high accuracy achieved by state-of-the-art methods for this task, there is still room for improvement in generalized and unrestricted datasets. In this paper, we advocate a new strategy inspired by the behavior of humans in gender recognition. Instead of dealing with the face image as a sole feature, we rely on the combination of isolated facial features and a holistic feature which we call the foggy face. Then, we use these features to train deep convolutional neural networks followed by an AdaBoost-based score fusion to infer the final gender class. We evaluate our method on four challenging datasets to demonstrate its efficacy in achieving better or on-par accuracy with state-of-the-art methods. In addition, we present a new face dataset that intensifies the challenges of occluded faces and illumination changes, which we believe to be a much-needed resource for gender classification research.

연구 동기 및 목표

• 기존 방법이 어려움을 겪는 실제 세계의 제약 없는 조건에서 성별 분류 정확도를 향상시키기 위해.
• 통합적인 얼굴 표현의 한계를 보완하기 위해 의미 있는 고립된 얼굴 특징을 통합하기 위해.
• 다양한 딥 컨볼루션 신경망 예측을 효과적으로 융합하는 강건한 융합 전략을 개발하기 위해.
• 더 현실적인 평가를 위해 가림과 조명 변화를 강조하는 새로운 도전적인 얼굴 데이터셋을 구축하기 위해.
• 특히 더 어려운 실제 데이터에서의 일반화 성능을 입증하기 위해 교차 데이터셋 평가를 수행하기 위해.

제안 방법

• 방법은 고립된 얼굴 특징(예: 눈, 코, 입)과 통합적인 '안개진 얼굴' 표현을 별도의 딥 컨볼루션 신경망(CNN)에 입력으로 사용한다.
• 각 CNN은 해당 입력 특징의 성별을 독립적으로 분류하여 개별 예측 점수를 생성한다.
• AdaBoost 기반 점수 융합 메커니즘이 모든 CNN의 예측 점수를 융합하여 최종 성별 분류 결정을 내린다.
• '안개진 얼굴' 표현은 저역통과 필터를 적용하여 이미지 품질이 떨어지거나 흐릿한 얼굴 이미지를 시뮬레이션함으로써, 이미지 열화에 대한 강건성을 향상시킨다.
• 전체 이미지 특징보다 신뢰할 수 있는 국소적 얼굴 단서를 우선시하는 인간 유사 추론 방식을 적용한다.
• 이 방법은 네 개의 기존 벤치마크 데이터셋과 새로운, 더 도전적인 데이터셋(합성적 가림 및 조명 변화 포함)에서 평가된다.

실험 결과

연구 질문

• RQ1 고립된 얼굴 특징과 통합적인 안개진 얼굴 표현을 융합하면 성별 분류 정확도가 향상되는가?
• RQ2 여러 개의 CNN 예측을 AdaBoost 기반으로 융합하면 단일 모델 또는 단순 평균화 방법보다 성능이 향상되는가?
• RQ3 제안된 방법은 더 도전적인 실제 데이터에서 교차 데이터셋 평가에 어떻게 일반화되는가?
• RQ4 가림 및 저조도를 강조하는 새로운 더 도전적인 데이터셋은 실제 성별 분류 곤경을 더 잘 반영할 수 있는가?
• RQ5 저품질 이미지 조건에서 고립된 얼굴 특징이 통합 얼굴 이미지보다 더 신뢰할 수 있는 성별 단서를 제공하는가?

주요 결과

• AFIF4는 LFW 데이터셋에서 테스트 정확도 95.98%를 달성하여 동일한 평가 환경에서 최신 기술 수준(SOTA) 방법인 DL-GC(93.60%)와 SDL-GC(94.90%)를 능가한다.
• Groups 데이터셋에서 AFIF4는 90.73%의 정확도를 기록하여 SOTA 결과인 DL-GC(83.30%)와 SDL-GC(84.40%)를 모두 초월한다.
• 교차 데이터셋 평가에서 AFIF4는 FERET 데이터셋에서 최고의 정확도(99.49%)를 기록했으며, 모든 테스트된 교차 데이터셋 조합에서 SOTA 방법들을 지속적으로 능가한다.
• 완전한 SoF 데이터셋은 합성적 가림과 필터를 포함하여 가장 도전적인 것으로 평가되었으며, LFW에서 훈련한 경우 교차 데이터셋 정확도가 가장 낮아(65.76%) 지표가 되었다.
• 제안된 데이터셋은 수작업 레이블과 성별 레이블이 부여된 총 42,592장의 얼굴 이미지를 포함하며, 가림과 조명 변화의 도전성을 강조하기 위해 특별히 설계되었다.
• 이 방법은 동일한 데이터에서 훈련한 경우 완전한 SoF 데이터셋에서 97.21%의 정확도를 달성하여 이미지 열화에 대한 높은 내성성을 보였다.