[논문 리뷰] Quaternion matrix regression for color face recognition

Jifei Miao, Kit Ian Kou|arXiv (Cornell University)|2020. 01. 20.

Face and Expression Recognition참고 문헌 33인용 수 6

한 줄 요약

이 논문은 색상 얼굴 인식을 위한 새로운 퀼레르니언 행렬 회귀 프레임워크인 NQMR와 R-NQMR를 제안한다. 이 방법은 색상 이미지 내의 채널 간 상관관계를 유지하면서도, 핵노름 기반의 행렬 회귀를 통해 저질서 구조를 모델링한다. ADMM 최적화와 핵노름의 로그를 통한 특이값의 적응형 가중치 부여를 통해, 특히 가림, 조명 변화 및 혼합 노이즈 조건에서 최신 기술보다 뛰어난 성능을 발휘한다.

ABSTRACT

Regression analysis-based approaches have been widely studied for face recognition (FR) in the past several years. More recently, to better deal with some difficult conditions such as occlusions and illumination, nuclear norm based matrix regression methods have been proposed to characterize the low-rank structure of the error image, which generalize the one-dimensional, pixel-based error model to the two-dimensional structure. These methods, however, are inherently devised for grayscale image based FR and without exploiting the color information which is proved beneficial for FR of color face images. Benefiting from quaternion representation, which is capable of encoding the cross-channel correlation of color images, we propose a novel color FR method by formulating the color FR problem as a nuclear norm based quaternion matrix regression (NQMR). We further develop a more robust model called R-NQMR by using the logarithm of the nuclear norm, instead of the original nuclear norm, which adaptively assigns weights on different singular values, and then extend it to deal with the mixed noise. The proposed models, then, are solved using the effective alternating direction multiplier method (ADMM). Experiments on several public face databases demonstrate the superior performance and efficacy of the proposed approaches for color FR, especially for some difficult conditions (occlusion, illumination and mixed noise) over some state-of-the-art regression analysis-based approaches.

연구 동기 및 목표

• 기존의 일차원적, 픽셀 기반의 회귀 모델이 얼굴 이미지의 구조적 특성과 색상 상관관계를 다루는 데에 한계가 있음을 해결하고자 한다.
• 伝통적인 회색조 기반 또는 채널별 처리 방법에서 간과되는 색상 이미지 내의 채널 간 상관관계를 활용하고자 한다.
• 오차 이미지의 2차원 구조를 유지하면서도, 가림, 조명 변화 및 혼합 노이즈를 효과적으로 다룰 수 있는 행렬 회귀 모델을 개발하고자 한다.
• 표준 핵노름을 로그 핵노름으로 대체하여 특이값을 적응형으로 가중함으로써 강건성을 향상시키고자 한다.

제안 방법

• 색상 얼굴 인식 문제를 핵노름 기반의 퀄레르니언 행렬 회귀(NQMR) 문제로 수식화하며, 3차원 퀄레르니언 행렬을 사용해 색상 이미지를 표현하고 채널 간 관계를 유지한다.
• 핵노름을 로그 핵노름으로 대체하여 특이값에 대한 가중치를 적응적으로 할당함으로써 이상치 및 노이즈에 대한 강건성을 향상시킨 R-NQMR를 제안한다.
• 표현의 저질서 오차 구조를 모델링하기 위해 퀄레르니언 행렬의 특이값 분해(SVD)를 활용하여 전반적인 이미지 패턴을 포착한다.
• NQMR 및 R-NQMR의 비볼록 최적화 문제를 효율적으로 해결하기 위해 교대 방향 승수법(ADMM)을 사용한다.
• 효율적인 계산을 위해 퀄레르니언 행렬을 실수 블록 행렬로 변환하는 실수 표현 맵 $\mathcal{P}(\cdot)$ 를 적용한다.
• 퀄레르니언 핵노름의 이론적 성질과 그 실수 표현 형태의 등가성을 도출함으로써, 퀄레르니언 행렬과 실수 행렬 간의 핵노름이 동치임을 보장한다.

실험 결과

연구 질문

• RQ1 퀄레르니언 행렬 회귀는 색상 얼굴 이미지의 채널 간 상관관계를 효과적으로 모델링하여 인식 성능을 향상시킬 수 있는가?
• RQ2 표준 핵노름을 핵노름의 로그로 대체함으로써 혼합 노이즈 및 이상치에 대한 강건성이 향상되는가?
• RQ3 제안된 NQMR 및 R-NQMR 모델은 가림 및 조명 변화와 같은 도전적인 조건에서 기존의 행렬 회귀 및 일차원 회귀 방법보다 어떻게 비교되는가?
• RQ4 오차 이미지의 2차원 행렬 구조를 유지함으로써 픽셀 기반의 벡터화 모델 대비 인식 정확도가 얼마나 향상되는가?

주요 결과

• 제안된 R-NQMR 방법은 공개 색상 얼굴 데이터베이스에서 뛰어난 성능을 보이며, 특히 가림 및 혼합 노이즈 조건에서 최신 기술보다 뛰어난 성능을 발휘한다.
• R-NQMR는 로그 핵노름을 통한 특이값의 적응형 가중치 부여로 인해 이상치로 인한 식별 편향을 줄이며, 강건성이 향상된다.
• NQMR 모델은 저질서 오차 구조를 효과적으로 포착하면서도 채널 간 상관관계를 유지하여, 기존의 회색조 또는 채널별 처리 방법보다 높은 인식 정확도를 달성한다.
• 실험 결과, 퀄레르니언 기반의 행렬 회귀 프레임워크가 복잡한 노이즈 패턴이 있는 이미지에서도 높은 성능을 유지함을 확인하였다.
• ADMM 기반 최적화 알고리즘은 안정적이고 효율적으로 수렴하여 제안된 모델의 실용적 구현 가능성을 보여준다.
• 이론적 분석을 통해 퀄레르니언 핵노름은 $\mathcal{P}(\cdot)$ 표현의 실수 핵노름의 4배와 동치임을 확인하였으며, 이는 계산적 등가성을 검증한다.