[논문 리뷰] Illumination-invariant face recognition from a single image across extreme pose using a dual dimension AAM ensemble in the thermal infrared spectrum

Reza Shoja Ghiass, Ognjen Arandjelović외 2명|arXiv (Cornell University)|2013. 06. 07.

Face recognition and analysis참고 문헌 26인용 수 5

한 줄 요약

이 논문은 극단적인 자세에서 단일 열화상(이르) 영상으로부터 일관된 얼굴 인식을 위한 이중 차원 AAM 앙상블을 제안한다. 자세 및 영역 전문화된 AAM을 사용하여 중립 표정, 평균 시점의 얼굴을 합성하고, 다중 척도 선형성 필터를 통해 강력한 정맥망 표현을 구현함으로써, 대규모 공개된 열화상 IR 데이터베이스와 새로 확보한 동적 영상 데이터셋 모두에서 완벽한 인식 성능을 달성하였다. 다중 영상 학습 조건에서도 최신 기술을 능가하는 성능을 보였다.

ABSTRACT

Over the course of the last decade, infrared (IR) and particularly thermal IR imaging based face recognition has emerged as a promising complement to conventional, visible spectrum based approaches which continue to struggle when applied in practice. While inherently insensitive to visible spectrum illumination changes, IR data introduces specific challenges of its own, most notably sensitivity to factors which affect facial heat emission patterns, e.g. emotional state, ambient temperature, and alcohol intake. In addition, facial expression and pose changes are more difficult to correct in IR images because they are less rich in high frequency detail which is an important cue for fitting any deformable model. In this paper we describe a novel method which addresses these major challenges. Specifically, when comparing two thermal IR images of faces, we mutually normalize their poses and facial expressions by using an active appearance model (AAM) to generate synthetic images of the two faces with a neutral facial expression and in the same view (the average of the two input views). This is achieved by piecewise affine warping which follows AAM fitting. A major contribution of our work is the use of an AAM ensemble in which each AAM is specialized to a particular range of poses and a particular region of the thermal IR face space. Combined with the contributions from our previous work which addressed the problem of reliable AAM fitting in the thermal IR spectrum, and the development of a person-specific representation robust to transient changes in the pattern of facial temperature emissions, the proposed ensemble framework accurately matches faces across the full range of yaw from frontal to profile, even in the presence of scale variation (e.g. due to the varying distance of a subject from the camera).

연구 동기 및 목표

• 기존 방법의 성능을 제한하는 열화상 IR 얼굴 인식에서 자세 및 표정 변동 문제를 해결하기 위해.
• 열화상 IR 영상의 고주파 질감 정보가 부족하여 AAM 피팅이 안정적이지 못하는 문제를 극복하기 위해.
• 주변 온도 또는 정서 상태 등으로 인한 일시적인 얼굴 열 방출 패턴 변화에 강건한 표현 방식을 개발하기 위해.
• 전면에서 측면까지의 요각 범위에서 단일 열화상 IR 영상으로도 정확한 얼굴 인식을 가능하게 하기 위해.
• 실제 대규모 열화상 IR 데이터셋에서 자세 및 표정 변동이 심한 상황에서도 제안된 방법의 유효성을 입증하기 위해.

제안 방법

• 각각 특정 범위의 머리 자세와 열화상 IR 얼굴 영역에 특화된 활동적 표면 모델(AAM)의 앙상블을 사용하여 피팅 정확도와 일반화 능력을 향상시킨다.
• 자세 및 표정 정규화를 위해, AAM은 피팅 후 조각별 애핀 변환을 통해 공통된 평균 시점과 중립 표정의 합성 영상을 생성한다.
• 열화상 IR 영상의 질감이 낮아 AAM 피팅에서 수렴 문제가 발생할 수 있으므로, 사전 처리 단계에서 분류 능력을 향상시킨다.
• 다중 척도 선형성 필터 기반의 개인별 표현 방식을 통해 피하 정맥망 특징을 추출하며, 이는 얼굴 온도 패턴 변화에 강건하다.
• 다중 척도에서 선형성 구조에 대한 신뢰도를 모델링함으로써, 척도 불변성 및 해상도에 강건한 특징 추출을 가능하게 한다.
• AAM 기반 정규화와 정맥망 표현 방식을 융합하여 극단적인 자세 변화 및 환경 조건 변화에 대비한 정확한 매칭을 가능하게 한다.

실험 결과

연구 질문

• RQ1 이중 차원 AAM 앙상블이 단일 영상에서 자세 및 표정 변동을 효과적으로 정규화하여 정확한 인식을 가능하게 할 수 있는가?
• RQ2 고주파 질감 정보가 없는 열화상 IR 영상에서 AAM 피팅을 어떻게 안정화할 수 있는가?
• RQ3 다중 척도 선형성 기반 표현이 일시적인 얼굴 열 방출 패턴 변화에 강건한가?
• RQ4 제안된 방법이 자세 및 표정 변동이 심한 대규모 열화상 IR 데이터셋에서 최신 기술을 능가하는가?
• RQ5 다중 시점 학습 데이터 없이도 단일 영상당 한 명의 주제로 학습된 경우에도 이 방법이 효과적인가?

주요 결과

• 제안된 방법은 자세 및 표정 변동이 심한 가장 큰 공개 열화상 IR 얼굴 데이터베이스에서 완벽한 인식 성능(100% 등가 오류율에 해당)을 달성하였다.
• 새로 확보한 열화상 IR 동영상 데이터셋에서도 완벽한 인식 성능를 기록하여, 동적 머리 운동 및 표정 변화에 대한 강건성을 입증하였다.
• ROC 곡선 분석 결과, 반면자세(30–60° 요각) 근처의 머리 자세가 전면 또는 극한의 측면 자세보다 더 분류 능력이 뛰어나며, 30–60° 범위에서 이상적인 곡선과 가장 가까운 것으로 나타났다.
• 다양한 머리 자세를 포함한 다중 영상으로 학습된 최신 기술 대비도 상당한 성능 향상을 보였다.
• 이종 간 유사도 분포가 내종 간 유사도 분포와 잘 분리되어 있어, 제안된 표현 방식의 강력한 분류 능력을 시사한다.
• 자세 및 영역 전문화된 AAM을 앙상블 프레임워크에 통합함으로써 피팅 오류가 효과적으로 감소하고 다양한 열화상 IR 외관에 대한 일반화 능력이 향상되었다.