[논문 리뷰] Sparse Graphical Representation based Discriminant Analysis for Heterogeneous Face Recognition

Chunlei Peng, Xinbo Gao외 2명|arXiv (Cornell University)|2016. 07. 01.

Face and Expression Recognition참고 문헌 46인용 수 8

한 줄 요약

이 논문은 이질적 얼굴 인식을 위한 스파스 그래픽 표현 기반 분류 분석(SGR-DA)을 제안한다. 이는 마르코프 네트워크를 통한 적응형 스파스 그래픽 모델링과 공간 분할 기반 분류 분석을 활용하여 특징의 분류 가능성을 향상시킨다. 이 방법은 최신 기술 수준의 성능을 달성하여 TIR-VIS 데이터셋에서 랭크-50 정확도 93.08%를 기록하며 이전의 방법들을 크게 앞서 간다.

ABSTRACT

Face images captured in heterogeneous environments, e.g., sketches generated by the artists or composite-generation software, photos taken by common cameras and infrared images captured by corresponding infrared imaging devices, usually subject to large texture (i.e., style) differences. This results in heavily degraded performance of conventional face recognition methods in comparison with the performance on images captured in homogeneous environments. In this paper, we propose a novel sparse graphical representation based discriminant analysis (SGR-DA) approach to address aforementioned face recognition in heterogeneous scenarios. An adaptive sparse graphical representation scheme is designed to represent heterogeneous face images, where a Markov networks model is constructed to generate adaptive sparse vectors. To handle the complex facial structure and further improve the discriminability, a spatial partition-based discriminant analysis framework is presented to refine the adaptive sparse vectors for face matching. We conducted experiments on six commonly used heterogeneous face datasets and experimental results illustrate that our proposed SGR-DA approach achieves superior performance in comparison with state-of-the-art methods.

연구 동기 및 목표

• 스케치, 적외선, 가시광선 이미지와 같은 이질적 모odal 간의 큰 무늬와 스타일 차이로 인한 얼굴 인식 성능 저하 문제를 해결한다.
• 고정된 K-최근접 이웃에 의존하거나 얼굴의 공간적 구조를 忽略하는 기존 방법의 한계를 극복하여 분류 가능성을 높인다.
• 범용적인 프레임워크를 개발하여 법의학적 스케치, 복합 스케치, 열화상-가시광선 매칭 등 다양한 HFR 시나리오에서 특징 표현과 매칭 정확도를 향상시킨다.
• 스파arsity 표현 과정에 행 기반, 열 기반, 학습 기반의 공간 분할 전략을 통합하여 분류 능력을 향상시킨다.

제안 방법

• 마르코프 네트워크를 활용해 얼굴 패치를 모델링하는 적응형 스파스 그래픽 표현을 제안하며, 재구성 오차를 최소화하고 패치 간 일관성을 유지하기 위해 가중치 벡터를 학습한다.
• 재구성 오차를 최소화하고 이웃 패치 간 구조적 일관성을 강제하는 이차 목표 함수를 통해 새로운 최적화 프레임워크를 도입한다.
• 스파스 표현에 대해 행 기반, 열 기반, 학습 기반의 공간 분할을 적용하여 국소 얼굴 영역에서의 분류 가능성을 향상시킨다.
• 정련된 스파스 벡터 공간에서 클래스 간 분산을 최대화하고 클래스 내 분산을 최소화하는 분류 분석 프레임워크를 사용하여 매칭 성능을 향상시킨다.
• 가중치 벡터에 대한 스파arsity 및 정규화 제약 조건을 포함한 제약 조건이 붙은 이차 계획 문제로 최적화를 공식화한다.
• 마르코프 네트워크의 국소 얼굴 구조 모델링 능력과 관련 이웃을 적응적으로 선택하는 능력을 활용하여 이전 연구에서의 고정된 K-최근접 이웃 제약 조건을 회피한다.

실험 결과

연구 질문

• RQ1 고정된 이웃 기반 방법과 비교해 볼 때, 적응형 스파스 그래픽 표현이 이질적 얼굴 인식에서 분류 가능성을 향상시킬 수 있는가?
• RQ2 얼굴 영역의 공간 분할 전략은 HFR 작업에서 스파스 표현의 분류 가능성을 어떻게 향상시키는가?
• RQ3 제안된 SGR-DA 프레임워크는 스케치-사진, NIR-가시광선, TIR-가시광선 매칭을 포함한 다양한 HFR 시나리오에 일반화될 수 있는가?
• RQ4 마르코프 네트워크 기반 표현과 분류 분석의 통합은 기존 최신 기술 수준의 방법들보다 얼마나 뛰어나게 성능을 향상시키는가?

주요 결과

• 제안된 SGR-DA 방법은 TIR-VIS 데이터셋에서 랭크-50 정확도 93.08%를 기록하여 이전 최고 성능 기록인 P-RS의 46.15%를 크게 뛰어넘었다.
• CUFSF 스케치 뷰 데이터셋에서 SGR-DA는 최신 기술 수준의 방법들보다 5% 높은 랭크-1 정확도를 달성했다.
• 법의학적 스케치, 복합 스케치, 반법의학적 스케치 등 다양한 HFR 시나리오에서 다양한 평가 프로토콜 하에서 강력한 일반화 능력을 보였다.
• 공간 분할 기반 분류 분석 프레임워크는 행, 열, 학습된 분할을 활용해 국소 스파스 표현을 정련함으로써 특징의 분류 가능성을 효과적으로 향상시켰다.
• 적응형 스파스 표현은 수동으로 조정된 K-최근접 이웃에 대한 의존도를 감소시켜 다양한 모달 간에서의 강인성과 성능 향상을 향상시켰다.