[논문 리뷰] Attention-aware fusion for RGB-D face recognition

Hardik Uppal, Alireza Sepas‐Moghaddam외 2명|arXiv (Cornell University)|2020. 02. 29.

Face recognition and analysis참고 문헌 10인용 수 4

한 줄 요약

이 논문은 RGB-D 얼굴 인식을 위한 주의력 인식 융합 방법을 제안하며, 융합된 특징 맵과 그들의 공간 구조에 대해 두 가지 주의력 메커니즘을 적용하여 특징 표현을 향상시킨다. 전이 학습과 데이터 증강을 활용하여 CurtinFaces에서 98.2%의 정확도와 IIIT-D에서 99.3%의 정확도를 달성하며, 기존 최고 성능 기법들을 능가한다.

ABSTRACT

A novel attention aware method is proposed to fuse two image modalities, RGB and depth, for enhanced RGB-D facial recognition. The proposed method uses two attention layers, the first focused on the fused feature maps generated by convolution layers, and the second focused on the spatial features of those maps. The training database is preprocessed and augmented through a set of geometric transformations, and the learning process is further aided using transfer learning from a pure 2D RGB image training process. Comparative evaluations demonstrate that the proposed method outperforms other state-of-the-art approaches, including both traditional and deep neural network-based methods, on the challenging CurtinFaces and IIIT-D RGB-D benchmark databases, achieving classification accuracies over 98:2% and 99:3% respectively.

연구 동기 및 목표

• 주목적 메커니즘을 사용하여 RGB와 깊이 모odalities를 효과적으로 융합함으로써 RGB-D 얼굴 인식을 향상시키기.
• 실세계 얼굴 인식 환경에서 노이즈가 많거나 일관성 없는 깊이 데이터에 대응하는 데 도전하기.
• 융합된 특징 맵과 공간 특징 맵에서 분류에 유용한 영역에 집중함으로써 특징 표현을 향상시키기.
• 2D RGB 모델에서의 전이 학습을 활용하여 학습 효율성과 성능을 향상시키기.
• CurtinFaces와 IIIT-D와 같은 도전적인 RGB-D 기준 데이터셋에서 최고 성능을 달성하기.

제안 방법

• RGB와 깊이 스트림에서 유도된 융합된 특징 맵에 주의력 레이어를 두 번 순차적으로 적용하고, 이들의 공간 분포에 대해서도 주의력 레이어를 적용한다.
• 융합 이전에 RGB 및 깊이 입력에서 초기 특징을 추출하기 위해 합성곱 레이어를 사용한다.
• 학습 중 강건성과 일반화 능력을 향상시키기 위해 기하학적 데이터 증강을 활용한다.
• 2D RGB 얼굴 인식 모델에서 사전 학습된 가중치를 사용하여 네트워크를 초기화함으로써 전이 학습을 구현한다.
• 주의 점수에 기반해 중요한 특징을 동적으로 가중치를 매김으로써 융합 과정을 최적화한다.
• 무관하거나 노이즈가 많은 특징을 억제하고 분류 능력을 향상시키기 위해 주의력 메커니즘을 통합한다.

실험 결과

연구 질문

• RQ1 주목적 메커니즘이 얼굴 인식에서 RGB와 깊이 특징의 융합을 어떻게 향상시킬 수 있는가?
• RQ2 주목적 기반 특징 선택은 도전적인 RGB-D 데이터셋에서 정확도 향상에 얼마나 기여하는가?
• RQ3 2D RGB 모델에서의 전이 학습은 제한된 깊이 데이터가 있는 RGB-D 얼굴 인식에서 성능 향상에 기여하는가?
• RQ4 제안된 방법은 기준 데이터셋에서 기존 최고 성능 융합 전략과 어떻게 비교되는가?
• RQ5 기하학적 데이터 증강은 주의력 인식 융합 모델의 강건성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 CurtinFaces 기준 데이터셋에서 분류 정확도 98.2%를 달성한다.
• IIIT-D RGB-D 기준 데이터셋에서, 방법은 99.3%의 인식 정확도를 달성하며 기존 최고 성능 기법들을 능가한다.
• 이중 주의력 메커니즘이 관련된 공간적 및 채널 기반 특징에 집중함으로써 특징의 분류 능력을 크게 향상시킨다.
• 2D RGB 모델에서의 전이 학습은 특히 제한된 깊이 데이터에서 빠른 수렴과 더 나은 성능을 기여한다.
• 기하학적 데이터 증강은 다양한 조명 조건과 자세 조건에서 모델의 강건성과 일반화 능력을 향상시킨다.
• 평가된 기준 데이터셋에서 전통적인 융합 기법과 최근의 딥 러닝 기반 방법들보다 모두 성능이 뛰어나다.