[논문 리뷰] Occlusion Robust Face Recognition Based on Mask Learning with PairwiseDifferential Siamese Network

Lingxue Song, Dihong Gong외 3명|arXiv (Cornell University)|2019. 08. 17.

Face recognition and analysis참고 문헌 32인용 수 46

한 줄 요약

이 논문은 Pairwise Differential Siamese Network (PDSN)를 제시하여 어떤 심층 CNN 특징이 가려짐으로 인해 손상되는지 학습하고, Feature Discarding Masks (FDM)의 마스크 사전을 구축하며, 이 마스크를 적용해 가려짐에 강건한 얼굴 인식을 달성한다.

ABSTRACT

Deep Convolutional Neural Networks (CNNs) have been pushing the frontier of the face recognition research in the past years. However, existing general CNN face models generalize poorly to the scenario of occlusions on variable facial areas. Inspired by the fact that a human visual system explicitly ignores occlusions and only focuses on non-occluded facial areas, we propose a mask learning strategy to find and discard the corrupted feature elements for face recognition. A mask dictionary is firstly established by exploiting the differences between the top convoluted features of occluded and occlusion-free face pairs using an innovatively designed Pairwise Differential Siamese Network (PDSN). Each item of this dictionary captures the correspondence between occluded facial areas and corrupted feature elements, which is named Feature Discarding Mask (FDM). When dealing with a face image with random partial occlusions, we generate its FDM by combining relevant dictionary items and then multiply it with the original features to eliminate those corrupted feature elements. Comprehensive experiments on both synthesized and realistic occluded face datasets show that the proposed approach significantly outperforms the state-of-the-arts.

연구 동기 및 목표

• 가려진 영역이 심층 특징을 저하시킬 때 무작위 부분 가려짐 하에서의 강건한 얼굴 인식을 촉진한다.
• Pairwise Differential Siamese Network를 사용하여 가려진 얼굴 블록과 손상된 CNN 특징 간의 대응 관계를 학습한다.
• 테스트 중 손상된 특징을 제거하기 위한 Feature Discarding Masks (FDM)의 마스크 사전을 구축한다.
• 합성 및 현실적인 가려짐 얼굴 데이터셋에서 가려짐에 대한 강건성과 일반화를 보여준다.
• 손상된 특징을 마스킹하는 것이 비가려진 얼굴의 성능 저하 없이 가려짐 상황을 개선함을 보인다.

제안 방법

• 정렬된 얼굴을 N x N 블록으로 분할하여 가려짐 효과를 국소화한다.
• ArcFace 기반 트렁크 CNN과 마스크 생성기 M_theta를 사용하여 최상위 컨볼루션 특징에 대한 원소별(mask) 마스크를 생성한다: f̃ = M_theta(·) f.
• 합동 손실로 M_theta를 학습한다: L_theta = sum_i L_cls( f̃(x_j^i), y^i ) + lambda L_diff( f̃(x_j^i), f̃(x^i) ), 여기서 L_diff는 마스킹된 특징에 대한 페어와이즈 컨트라스트 손실이다.
• L_diff = || M_theta(·) f(x^i) − M_theta(·) f(x_j^i) ||_1, 마스킹된 가려진 특징이 비가려진 대응 특징과 정렬되도록 장려한다.
• 단계별 학습: (1) CASIA-WebFace에서 트렁크 CNN 학습; (2) 가려진 페어로 블록별 마스크 생성기 학습; (3) 많은 가려짐 샘플의 평균 마스크를 이진화하여 마스크 사전을 구축.
• 마스크 사전 구축: 각 블록 j에 대해 약 200k 쌍에서 평균 마스크 m̄_j를 계산한 다음, 가장 작은 τ*K 값을 버려 이진화하여 M_j로 만든다 (K = C×W×H).
• 테스트 시 가려짐: 가려진 블록에 해당하는 M_j 마스크를 AND 연산으로 결합하여 탐색자의 FDM M을 도출하고, 비교 전에 최상위 conv 특징에 M을 적용한다.

실험 결과

연구 질문

• RQ1 얼굴 블록이 가려졌을 때 CNN 특징 요소 중 어떤 것이 손상되었는지 어떻게 식별할 수 있는가?
• RQ2 페어와이즈로 가려짐/깨끗한 얼굴에서 훈련된 마스크 생성 모델이 서로 다른 신원 간에도 가려진 영역과 손상된 특징 요소 간의 안정적인 대응 관계를 드러낼 수 있는가?
• RQ3 부분 가려짐에서 손상된 특징을 버리는 것이 비가려진 성능에 해를 끼치지 않으면서 인식 성능을 향상시키는가?
• RQ4 고정된 마스크 사전이 paired 가려짐 데이터 없이도 테스트 시 임의의 가려짐에 일반화될 수 있는가?

주요 결과

• 본 방법은 합성 및 현실적인 가려짐 얼굴에서 강력한 가려짐 강건성을 달성하며, 이진화 정규화 후 특정 가려짐 유형에서 AR 순위-1 최대 정확도 98.26%에 도달한다.
• MegaFace Challenge 1에서 가려진 프롬프 데이터로 평가 시, 제안 방법이 MF1occ를 56.34%로 개선한다(제안 방법) vs 낮은 기준 여백.
• 본 방법은 LFW에서 검증 강도를 유지하거나 향상시키고 AR 데이터셋에서 현실적 가려짐(예: 선글라스, 스카프)에 대한 내성이 트렁크 CNN 기준선보다 우수하다.
• 페어와이즈 손실과 분류 손실을 결합한 차별 감독 전략이 분류 손실만 사용하는 것보다 더 안정적이고 해석 가능한 평균 마스크를 만들어 피처 맵 내 가려짐 위치 추정성을 향상시킨다.
• 이진 마스킹(소프트 가중치와 반대)은 더 나은 성능을 제공하고 계산 및 저장 측면에서도 효율적이다.