[논문 리뷰] Occlusion-Adaptive Deep Network for Robust Facial Expression Recognition

Hui Ding, Peng Zhou외 1명|arXiv (Cornell University)|2020. 05. 12.

Emotion and Mood Recognition참고 문헌 38인용 수 10

한 줄 요약

이 논문은 부분적 가림 상황에서도 얼굴 표정 인식 성능을 향상시키기 위해, 가림된 영역의 손상된 특징을 억제하는 랜드마크 유도 주의 브랜치와 보완적인 부분 수준 분류기를 학습하는 얼굴 영역 브랜치를 결합한 오clusion-Adaptive Deep Network (OADN)을 제안한다. OADN은 5개의 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, Pose-FERPlus 데이터셋에서 88.52%의 정확도와 Occlusion-FERPlus 데이터셋에서 84.57%의 정확도를 기록하여 RAN과 같은 이전 방법들을 크게 능가한다.

ABSTRACT

Recognizing the expressions of partially occluded faces is a challenging computer vision problem. Previous expression recognition methods, either overlooked this issue or resolved it using extreme assumptions. Motivated by the fact that the human visual system is adept at ignoring the occlusion and focus on non-occluded facial areas, we propose a landmark-guided attention branch to find and discard corrupted features from occluded regions so that they are not used for recognition. An attention map is first generated to indicate if a specific facial part is occluded and guide our model to attend to non-occluded regions. To further improve robustness, we propose a facial region branch to partition the feature maps into non-overlapping facial blocks and task each block to predict the expression independently. This results in more diverse and discriminative features, enabling the expression recognition system to recover even though the face is partially occluded. Depending on the synergistic effects of the two branches, our occlusion-adaptive deep network significantly outperforms state-of-the-art methods on two challenging in-the-wild benchmark datasets and three real-world occluded expression datasets.

연구 동기 및 목표

• 실제 환경에서 흔한 부분적 가림 상황에서 강건한 얼굴 표정 인식을 해결하기 위한 도전 과제를 다루는 것.
• 가림된 영역에서 손상된 특징을 기각하고 비가림된 얼굴 영역에 집중하여 모델의 강건성을 향상시키는 것.
• 중복되지 않는 얼굴 블록에 대해 독립적인 분류기를 학습시켜 특징의 다양성과 구분 능력을 향상시키는 것.
• 작은 표정 데이터셋에서의 과적합을 줄이기 위해 영역 기반 분류기에서 유도된 다중 감독 신호를 활용하는 것.
• 가림에 강건한 인식을 위해 주의와 영역 기반 학습을 유기적으로 융합하는 통합 딥 러닝 프레임워크를 개발하는 것.

제안 방법

• 랜드마크 유도 주의 브랜치는 검출된 얼굴 키포인트의 신뢰도 점수를 사용하여 가림된 얼굴 영역의 특징을 억제하는 주의 맵을 생성한다.
• 이 주의 맵은 전역 특징을 조정하여 표현 학습 과정에서 비가림된, 구분 가능한 얼굴 영역에 집중하도록 네트워크를 유도한다.
• 얼굴 영역 브랜치는 최종 합성곱 특징 맵을 K개의 중첩되지 않는 블록으로 분할하고, 각 블록을 별도로 학습시어 표정을 예측한다.
• 네트워크는 주의 브랜치에서 유도된 손실과 얼굴 영역 브랜치에서 유도된 손실을 함께 최적화하며, 기여도를 조절하기 위해 학습 가능한 가중치 λ를 사용한다.
• 눈, 입 등 주요 얼굴 랜드마크에 대한 도메인 지식을 활용하여 주의를 유도함으로써, 표정과 관련된 영역에 집중하도록 보장한다.
• gACNN와 유사한 FERPlus, RAF-DB 및 자연스러운 가림 벤치마크 데이터셋에서 엔드 투 엔드로 모델을 훈련하며, 구성 요소 기여도를 검증하기 위한 추론 분석을 실시한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 표정 인식 과정에서 얼굴 가림으로 인해 손상된 특징을 어떻게 효과적으로 억제할 수 있는가?
• RQ2 얼굴 랜드마크에 의해 유도된 주의 메커니즘이 표정 인식에서 가림에 대한 강건성을 얼마나 향상시킬 수 있는가?
• RQ3 중첩되지 않는 얼굴 영역에 대해 독립적인 분류기를 학습시키는 것이 부분적 가림 상황에서 모델의 강건성을 향상시키는 데 기여하는가?
• RQ4 주의와 영역 기반 학습의 상호보완적 효과는 단일 브랜치 접근법 대비 성능 향상에 얼마나 기여하는가?
• RQ5 가림된 표정 데이터셋에서 최적의 성능을 내기 위해 설정해야 할 하이퍼파라미터 설정(예: 신뢰도 임계값 T, 영역 수 K, 손실 가중치 λ)은 무엇인가?

주요 결과

• OADN은 Pose-FERPlus 데이터셋에서 88.52%의 정확도를 기록하여 RAN보다 6.29%포인트 높은 성능을 달성한다.
• Occlusion-FERPlus 데이터셋에서 OADN은 84.57%의 정확도를 기록하였으며, Pose>45 서브셋에서 RAN 대비 7.10%포인트 향상된 성능을 보였다.
• 추론 분석 결과 최적의 랜드마크 신뢰도 임계값 T는 0.6으로, 이보다 높거나 낮은 값에서는 성능이 저하됨을 확인하였다.
• 얼굴 영역 브랜치에서 K=4개의 영역을 설정했을 때 최고의 성능을 기록하였으며, 영역 수가 적거나 많아지면 정확도가 떨어졌다.
• λ=1(주의 브랜치만 포함)인 경우는 두 브랜치를 함께 최적화한 경우보다 성능이 열 劣함을 확인하였으며, 이는 두 구성 요소가 상호보완적이라는 점을 확인한다.
• 시각화 결과는 OADN이 gACNN보다 더 잘 일반화됨을 확인하였으며, 큰 머리 자세나 심한 가림 상황에서도 gACNN가 실패하는 상황에서도 정확한 예측을 내는 것으로 나타났다.