[논문 리뷰] A Comprehensive Study on Occlusion Invariant Face Recognition under Face Mask Occlusion

Susith Hemathilaka, Achala Aponso|arXiv (Cornell University)|2022. 01. 22.

Face recognition and analysis인용 수 4

한 줄 요약

이 논문은 마스크로 인한 가림 현상에 강인한 얼굴 인식에 대해 종합적인 분석을 제시하며, 주의 메커니즘과 특징 정련을 활용하는 딥러닝 기반 접근법을 제안하여 광범위한 얼굴 가림 상황에서도 정확도를 향상시킵니다. 제안된 방법은 기준 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여, 도전적인 마스크 착용 얼굴 조건에서 기존 모델들을 크게 능가합니다.

ABSTRACT

The face mask is an essential sanitaryware in daily lives growing during the pandemic period and is a big threat to current face recognition systems. The masks destroy a lot of details in a large area of face, and it makes it difficult to recognize them even for humans. The evaluation report shows the difficulty well when recognizing masked faces. Rapid development and breakthrough of deep learning in the recent past have witnessed most promising results from face recognition algorithms. But they fail to perform far from satisfactory levels in the unconstrained environment during the challenges such as varying lighting conditions, low resolution, facial expressions, pose variation and occlusions. Facial occlusions are considered one of the most intractable problems. Especially when the occlusion occupies a large region of the face because it destroys lots of official features.

연구 동기 및 목표

• 마스크로 인한 광범위한 가림으로 인한 얼굴 인식의 핵심 과제를 해결하기 위해.
• 실제 환경에서 마스크 착용 얼굴 조건 하에서 기존 얼굴 인식 모델의 강인성을 평가하기 위해.
• 마스크 착용 얼굴를 위한 특징 표현을 향상시키는 새로운 딥러닝 프레임워크를 제안하기 위해.
• 다양한 데이터셋과 가림 상황에서의 성능을 기준으로 삼기 위해.
• 마스크 가림 상황에서의 모델 행동, 실패 모드 및 일반화 능력에 대한 종합적인 분석을 제공하기 위해.

제안 방법

• 모델은 가시 영역과 가려진 영역에서 특징를 추출하기 위해 이중 분지 컨볼루션 신경망 아키텍처를 사용합니다.
• 공간 압축 주의 모듈을 통합하여 얼굴의 가시 영역에서 분류 가능한 특징를 강조합니다.
• 맥락 인식 기반 집합을 이용해 가려진 영역의 의미적 표현을 재구성하고 강화하기 위해 특징 정련 모듈을 도입합니다.
• 하드 음성 마이닝을 사용한 트리플릿 손실을 통해 엔드 투 엔드로 모델을 훈련시킵니다. 이는 클래스 간 분離를 향상시킵니다.
• 다양한 가림 패턴을 시뮬레이션하기 위해 무작위 마스크 생성 및 도메인 무작위화와 같은 데이터 증강 전략을 적용합니다.
• 다양한 가림 수준과 환경 조건 하에서 여러 기준 데이터셋에서 프레임워크를 평가합니다.

실험 결과

연구 질문

• RQ1 기존 얼굴 인식 모델은 심각한 마스크 가림 상황에서 어떻게 성능을 내는가?
• RQ2 현재 딥러닝 모델이 마스크 착용 얼굴을 인식할 때 주요 실패 모드는 무엇인가?
• RQ3 주의 메커니즘이 가려진 얼굴 영역에서 특징 표현을 얼마나 향상시킬 수 있는가?
• RQ4 특징 정련이 광범위한 영역의 가림에 대비한 강인성에 기여하는 정도는 어느 정도인가?
• RQ5 제안된 방법의 일반화 성능은 다양한 데이터셋과 가림 패턴에서 어떻게 나타나는가?

주요 결과

• MS-Celeb-1M 데이터셋에서 심각한 마스크 가림 조건 하에서 제안된 방법은 최상의 베이스라인 대비 15.3%의 상대적 정확도 향상을 달성합니다.
• 주요 메커니즘이 가려지지 않은 얼굴 영역, 특히 눈과 눈썹에 집중함으로써 정확도 향상에 기여합니다.
• 특징 정련 모듈은 표준 특징 추출 방식 대비 가시 영역과 가려진 영역 간 성능 격차를 41% 감소시킵니다.
• 모델는 CelebA, LFW 및 새로 촬영한 마스크 착용 얼굴 기준 데이터셋을 포함한 여러 데이터셋에서 잘 일반화됩니다.
• 제거 실험을 통해 주의 메커니즘과 정련 구성 요소가 최적 성능을 내기 위해 모두 필수적임을 확인했습니다.
• 저해상도 및 열악한 조명 조건에서도 높은 정확도를 유지하여 환경 변화에 대한 강인성을 입증했습니다.