[논문 리뷰] The Effect of Wearing a Face Mask on Face Image Quality

Biying Fu, Florian Kirchbuchner외 1명|arXiv (Cornell University)|2021. 10. 21.

Face recognition and analysis참고 문헌 33인용 수 4

한 줄 요약

이 연구는 최신 얼굴 이미지 품질 평가(FIQA) 방법을 사용하여 마스크 착용이 얼굴 이미지 품질에 미치는 영향을 조사한다. 실제 마스크, 시뮬레이션 마스크, 마스크 미착용 얼굴을 비교한다. 연구 결과 마스크 착용은 이미지 품질과 인식 성능을 뚜렷이 저하시키며, 특히 시뮬레이션 마스크는 실제 마스크와 비교해 일관되지 않은 영향을 미친다. 또한 FIQA 네트워크는 마스크가 씌워진 영역에 대해 더 적은 주의를 기울이며, 특히 합성 마스크의 경우 질감과 색상 잡음으로 인해 더욱 심하다.

ABSTRACT

Due to the COVID-19 situation, face masks have become a main part of our daily life. Wearing mouth-and-nose protection has been made a mandate in many public places, to prevent the spread of the COVID-19 virus. However, face masks affect the performance of face recognition, since a large area of the face is covered. The effect of wearing a face mask on the different components of the face recognition system in a collaborative environment is a problem that is still to be fully studied. This work studies, for the first time, the effect of wearing a face mask on face image quality by utilising state-of-the-art face image quality assessment methods of different natures. This aims at providing better understanding on the effect of face masks on the operation of face recognition as a whole system. In addition, we further studied the effect of simulated masks on face image utility in comparison to real face masks. We discuss the correlation between the mask effect on face image quality and that on the face verification performance by automatic systems and human experts, indicating a consistent trend between both factors. The evaluation is conducted on the database containing (1) no-masked faces, (2) real face masks, and (3) simulated face masks, by synthetically generating digital facial masks on no-masked faces. Finally, a visual interpretation of the face areas contributing to the quality score of a selected set of quality assessment methods is provided to give a deeper insight into the difference of network decisions in masked and non-masked faces, among other variations.

연구 동기 및 목표

• 얼굴 마스크가 얼굴 인식 성능 저하의 핵심이지만 아직 충분히 다루지 않은 요소인 얼굴 이미지 품질에 미치는 영향을 이해하기 위해.
• 실제 마스크와 시뮬레이션 마스크가 얼굴 이미지 품질과 인식 성능에 미치는 영향을 비교하기 위해.
• 얼굴 이미지 품질 평가(FIQA) 방법이 자동화된 얼굴 인식과 전문가의 성과와 상관관계가 있는지 분석하기 위해.
• FIQA 네트워크의 주의 메커니즘을 시각화하고 해석하여 마스크 착용 및 비마스크 얼굴에서의 의사결정 차이를 이해하기 위해.
• 시뮬레이션 마스크의 마스크 색상과 형태 변화가 FIQA 점수와 네트워크 주의 패턴에 어떤 영향을 미치는지 평가하기 위해.

제안 방법

• 최신 4종의 얼굴 이미지 품질 평가(FIQA) 방법(마그페이스, 페이스큐넷, 그리고 다른 두 가지(이름 미기재))를 사용하여 다양한 마스크 조건 하에서 이미지 품질을 정량화하였다.
• 세 가지 유형(마스크 미착용: No-M, 실제 얼굴 마스크: Real-M, 시뮬레이션 얼굴 마스크: Sim-M)을 포함하는 통제된 데이터베이스를 구축하였다.
• 기존 연구에서 정의한 표준 유형(A–F)과 색상으로 시뮬레이션 마스크를 적용하였으며, 유형 C 마스크의 경우 무작위 색상 변형을 적용하였다.
• Score-CAM 시각화를 사용하여 FIQA 네트워크의 주의 맵을 분석하고, 품질 점수에 가장 기여하는 얼굴 영역을 특정하였다.
• 상용 제품(FR) 시스템과 인간 전문가를 활용하여 얼굴 인식 성능을 평가하고, FIQA 점수와 비교하였다.
• 실제 마스크와 시뮬레이션 마스크에서 FIQA 점수, 인식 정확도, 인간 평가 간 상관관계를 평가하기 위한 통제 실험을 수행하였다.

실험 결과

연구 질문

• RQ1 최신 FIQA 방법으로 측정했을 때 마스크 착용은 얼굴 이미지 품질에 어떤 영향을 미치는가?
• RQ2 마스크로 인한 얼굴 이미지 품질 저하가 자동화된 시스템과 인간 전문가의 얼굴 인식 성능 저하와 실제로 관련이 있는가?
• RQ3 실제 마스크와 비교해 시뮬레이션 마스크는 얼굴 이미지 품질과 인식 성능에 어떤 영향을 미치는가?
• RQ4 시뮬레이션 마스크가 이미지 품질에 미치는 영향이 인식 성능에 영향을 미치는가? 이는 실제 마스크와 비교해 어떠한가?
• RQ5 FIQA 네트워크는 어떤 얼굴 영역에 가장 많은 주의를 기울이며, 마스크 색상이나 형태가 다른 실제 마스크와 시뮬레이션 마스크를 처리할 때 주의 패턴은 어떻게 변화하는가?

주요 결과

• 모든 4종의 FIQA 방법에서 마스크 착용으로 인해 얼굴 이미지 품질이 뚜렷이 저하됨을 확인하여, 인식 작업에 필요한 이미지 유용성이 일관되게 감소함을 시사한다.
• 마스크로 인한 얼굴 이미지 품질 저하가 자동화된 시스템과 인간 전문가의 얼굴 인식 성능 저하와 강하게 상관됨을 확인하였다.
• 시뮬레이션 마스크는 실제 마스크가 유도하는 품질 저하를 완전히 재현하지 못함을 시사하여, 합성 마스크 적용이 실제 시각적 및 질감적 효과를 충분히 반영하지 못함을 나타낸다.
• 시뮬레이션 마스크의 색상 변형은 FIQA 네트워크의 주의 패턴과 점수에 영향을 미치며, 이는 신경망이 비가시 영역의 픽셀 수준 변화에도 민감함을 보임을 시사한다.
• FIQA 네트워크는 마스크가 씌워진 영역—특히 코와 하부 얼굴 영역—에 대해 주의를 줄 줄어들며, 특히 시뮬레이션 마스크의 경우 더욱 심각한 경향이 있음을 확인하였다. 이는 가려진 영역에 대한 의존성이 감소함을 의미한다.
• 실제 마스크와 시뮬레이션 마스크 간 FIQA 모델의 주의 패턴은 다름을 확인하였으며, 실제 마스크는 가림에도 불구하고 보이는 얼굴 구조에 더 세밀한 주의를 기울이는 반면, 시뮬레이션 마스크는 일반적으로 보이는 영역에만 주목하며 미세한 질감 신호를 忽略하는 경향이 있었다.