[논문 리뷰] Masked Face Recognition: Human vs. Machine

Naser Damer, Fadi Boutros외 4명|arXiv (Cornell University)|2021. 03. 02.

Face recognition and analysis참고 문헌 35인용 수 7

한 줄 요약

이 연구는 마스크 착용 시 인간 전문가와 최신 자동 얼굴인식(FR) 시스템을 종합적으로 평가하여, 둘 다 마스크로 인해 유사하게 성능 저하됨을 밝혀내며, 진짜 점수들이 가짜 범주로 이격됨을 확인했다. 또한 합성 마스크는 평가 시 실제 마스크의 우수한 대체 수 Mitt이 아니며, 마스크 착용 조건에서 인간과 기계의 성능 간 강한 상관관계를 강조한다.

ABSTRACT

The recent COVID-19 pandemic has increased the focus on hygienic and contactless identity verification methods. However, the pandemic led to the wide use of face masks, essential to keep the pandemic under control. The effect of wearing a mask on face recognition (FR) in a collaborative environment is a currently sensitive yet understudied issue. Recent reports have tackled this by evaluating the masked probe effect on the performance of automatic FR solutions. However, such solutions can fail in certain processes, leading to performing the verification task by a human expert. This work provides a joint evaluation and in-depth analyses of the face verification performance of human experts in comparison to state-of-the-art automatic FR solutions. This involves an extensive evaluation by human experts and 4 automatic recognition solutions. The study concludes with a set of take-home messages on different aspects of the correlation between the verification behavior of humans and machines.

연구 동기 및 목표

• 마스크 착용이 신원 확인 작업에서 인간 전문가의 인식 성능에 미치는 영향을 조사하는 것.
• 마스크 착용 조건에서 인간 전문가의 성능을 최신 자동 FR 시스템과 비교하는 것.
• 마스크 착용 얼굴인식 시스템을 평가하기 위해 합성 마스크와 실제 마스크의 효과성을 평가하는 것.
• 얼굴 캐릭터 너비(헤어스타일 및 얼굴 테두리 포함)가 마스크 착용 시 인간의 인식 정확도에 미치는 영향을 분석하는 것.
• 특히 패닉 이후 신원 확인 워크플로우에서 실용적인 개선 방안을 도출하는 것.

제안 방법

• 12명의 인간 전문가가 마스크 착용 및 비마스크 착용 얼굴 쌍을 대상으로 얼굴 인식 검증을 수행한 광범위한 실험 평가를 실시함.
• 동일한 데이터셋에서 최고 성능을 보이는 상용 제품(COTS)을 포함한 4종의 자동 FR 시스템을 평가함.
• 실제 팬데믹 기간 사용된 실제 마스크와 합성 생성 마스크를 사용하여 그 영향을 평가함.
• 진짜 점수 및 가짜 점수 분포, 등가오류률(EER), 분리도 측도를 통해 인식 성능을 측정함.
• 비얼굴 기능(예: 헤어스타일, 이마 등)이 인식 정확도에 기여하는지를 평가하기 위해 얼굴 캐릭터 영역을 다양화함.
• 정량적 성능 추세와 관련된 행동 관찰을 위해 인간 전문가로부터 정성적 피드백을 수집함.

실험 결과

연구 질문

• RQ1 마스크 착용이 인간 전문가의 인식 성능에 자동 FR 시스템과 비교해 어떻게 영향을 미치는가?
• RQ2 합성 마스크가 인간 및 기계의 인식 성능 평가에서 실제 마스크를 얼마나 정확하게 대체하는가?
• RQ3 마스크 착용 기준 이미지를 사용할 경우 인간 또는 기계의 인식 성능이 향상되는가?
• RQ4 얼굴 테두리 및 비얼굴 기능(예: 헤어스타일)의 가시성이 마스크 착용 시 인간의 인식 정확도에 어떻게 영향을 미치는가?
• RQ5 인간 전문가의 정성적 관찰과 마스크 착용 얼굴인식에서의 통계적 성능 추세 간 상관관계는 어떠한가?

주요 결과

• 인간 전문가도 마스크 착용 프로브를 확인할 경우 성능이 크게 저하되며, 이는 자동 FR 시스템에서 관찰된 것과 동일한 경향을 보이며, 특히 진짜 점수가 가짜 범주로 이격됨.
• 헤어스타일과 같은 비얼굴 기능을 포함한 더 넓은 얼굴 캐릭터 영역을 사용할수록 인간 전문가의 성능 향상이 이루어지지만, 장기적인 인식 시나리오에서는 이는 덜 실용적임.
• 합성 마스크는 반사, 그림자, 마스크 디자인의 실제 세계 변동성을 재현하지 못하기 때문에 성능 평가에서 실제 마스크의 신뢰할 수 있는 대체 수 Mitt이 아님.
• 마스크-마스크 쌍 비교 시 진짜 및 가짜 점수 모두 이격되나, 마스크-비마스크 비교는 주로 진짜 점수에 영향을 미침.
• 마스크 기준 이미지를 사용하면 성능 향상이 일관되게 이루어지지 않지만, 합성 마스크 기준 이미지는 일관된 향상을 보이며, 이는 일관된 시각적 특성 때문일 가능성 있음.
• 인간 전문가의 정성적 피드백과 정량적 성능 지표 간 강한 상관관계가 있으며, 이는 대상 교육을 통해 성능 향상을 이룰 수 있음을 시사함.