[논문 리뷰] Nuclear Norm based Matrix Regression with Applications to Face Recognition with Occlusion and Illumination Changes

Jian Yang, Jianjun Qian외 3명|arXiv (Cornell University)|2014. 05. 06.

Face and Expression Recognition참고 문헌 37인용 수 15

한 줄 요약

이 논문은 표면 오염 및 조명 변화 상황에서의 얼굴 인식 성능을 향상시키기 위해 표현 오차 영상의 노름을 활용하는 핵심 노름 기반 행렬 회귀(NMR)를 제안한다. 오차를 낮은 질서의 행렬로 모델링하고 분할 역할 방법을 사용함으로써 NMR는 네 개의 주요 얼굴 데이터베이스에서 기존의 회귀 기반 방법들을 능가하며, 구조적 잡음과 조명 변화에 대한 뛰어난 내성성을 입증한다.

ABSTRACT

Recently regression analysis becomes a popular tool for face recognition. The existing regression methods all use the one-dimensional pixel-based error model, which characterizes the representation error pixel by pixel individually and thus neglects the whole structure of the error image. We observe that occlusion and illumination changes generally lead to a low-rank error image. To make use of this low-rank structural information, this paper presents a two-dimensional image matrix based error model, i.e. matrix regression, for face representation and classification. Our model uses the minimal nuclear norm of representation error image as a criterion, and the alternating direction method of multipliers method to calculate the regression coefficients. Compared with the current regression methods, the proposed Nuclear Norm based Matrix Regression (NMR) model is more robust for alleviating the effect of illumination, and more intuitive and powerful for removing the structural noise caused by occlusion. We experiment using four popular face image databases, the Extended Yale B database, the AR database, the Multi-PIE and the FRGC database. Experimental results demonstrate the performance advantage of NMR over the state-of-the-art regression based face recognition methods.

연구 동기 및 목표

• 표면 오염 및 조명 변화 상황에서의 1차원 픽셀 기반 오차 모델의 한계를 해결하기 위해.
• 표면 오염 및 조명 변화로 인해 발생하는 오차 영상의 낮은 질서 구조를 활용하기 위해.
• 오차 표현에서 공간적 구조를 유지하는 2차원 행렬 기반의 회귀 모델을 개발하기 위해.
• 어려운 얼굴 인식 시나리오에서의 구조적 잡음에 대한 내성성 향상과 분류 정확도 향상을 위해.

제안 방법

• 표현 오차를 1차원 벡터가 아니라 2차원 영상 행렬로 모델링하는 행렬 회귀 프레임워크를 제안한다.
• 오차 행렬의 핵심 노름을 낮은 질서의 구조를 촉진하기 위한 정규화 기준으로 사용한다.
• 최적화 문제를 효율적으로 해결하기 위해 분할 역할 방법의 다중 승수(ADMM)를 활용한다.
• 핵심 노름 최소화를 회귀 프레임워크에 통합하여 표현 계수와 오차 구조를 함께 학습한다.
• 오차 영상을 전체적인 행렬로 간주함으로써 공간 일관성과 구조적 패턴을 유지한다.
• 시험 영상와 학습 클래스 표현 간 잔차 행렬의 핵심 노름을 최소화함으로써 얼굴 인식에 모델을 적용한다.

실험 결과

연구 질문

• RQ1 공간적 구조를 유지하는 매트릭스 기반 오차 모델이 전통적인 픽셀 기반의 회귀 모델보다 표면 오염 및 조명 변화 상황에서의 얼굴 인식 성능을 뛰어나게 할 수 있는가?
• RQ2 오차 영상의 핵심 노름을 최소화하는 것이 표면 오염 및 조명 변화로 인한 구조적 잡음을 효과적으로 포착하고 억제할 수 있는가?
• RQ3 기준 데이터베이스에서 제안된 NMR 모델은 최신의 회귀 기반 얼굴 인식 방법들과 비교해 성능 면에서 어떻게 나타나는가?
• RQ4 실제 얼굴 인식 시나리오에서 오차 영상의 낮은 질서 가정이 손상된 상황에서도 얼마나 타당한가?
• RQ5 핵심 노름 정규화를 갖춘 매트릭스 회귀가 계산 효율성을 유지하면서 내성성을 향상시킬 수 있는가?

주요 결과

• NMR는 심한 조명 변화 상황에서 Extended Yale B 데이터베이스에서 기존 방법들을 능가하는 뛰어난 인식 정확도를 달성한다.
• 표면 오염이 있는 AR 데이터베이스에서 NMR는 기준 회귀 모델 대비 뚜렷한 내성성을 보이며 오차율을 감소시킨다.
• Multi-PIE 및 FRGC 데이터베이스에서 일관된 성능 향상이 나타나, 다양한 조명 및 자세 조건에서의 일반화 능력을 확인한다.
• 핵심 노름 정규화를 사용함으로써 낮은 질서 오차 구조를 효과적으로 포착하여 픽셀 기반 L2 또는 L1 모델보다 더 나은 잡음 억제 효과를 얻는다.
• 실험 결과는 오차를 벡터가 아닌 매트릭스로 모델링할 경우 공간 일관성이 유지되어 인식 내성성이 향상됨을 확인한다.
• ADMM 기반 최적화는 안정적이고 효율적으로 수렴하여 대규모 얼굴 인식 작업에 실용적으로 적용 가능하다.