[논문 리뷰] Local Sliced-Wasserstein Feature Sets for Illumination-invariant Face Recognition

Yan Zhuang, Shiying Li외 4명|arXiv (Cornell University)|2022. 02. 22.

Face recognition and analysis인용 수 4

한 줄 요약

이 논문은 라돈 누적분포변환(R-CDT) 기반의 국소 슬라이스드-워샤우르스타인 특징집합을 사용하여 조명에 강인한 얼굴 인식 방법을 제안한다. R-CDT 공간에서 국소 이미지 기울기 분포를 2차원 이산 측도로 모델링함으로써, 조명에 의한 변형을 볼록 부분공간으로 포착하여, 최근접 부분공간 분류 기반으로 강건한 인식을 가능하게 한다. 이 방법은 도전적인 조명 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 다양한 벤치마크에서 기존 방법들을 능가한다.

ABSTRACT

We present a new method for face recognition from digital images acquired under varying illumination conditions. The method is based on mathematical modeling of local gradient distributions using the Radon Cumulative Distribution Transform (R-CDT). We demonstrate that lighting variations cause certain types of deformations of local image gradient distributions which, when expressed in R-CDT domain, can be modeled as a subspace. Face recognition is then performed using a nearest subspace in R-CDT domain of local gradient distributions. Experiment results demonstrate the proposed method outperforms other alternatives in several face recognition tasks with challenging illumination conditions. Python code implementing the proposed method is available, which is integrated as a part of the software package PyTransKit.

연구 동기 및 목표

• 정체성 변화보다도 성능을 떨어뜨릴 수 있는 지속적인 조명 변화 문제를 해결한다.
• 조명에 의한 국소 이미지 기울기 분포의 변형에 강인한, 이론적으로 탄탄한 운반 기반 특징 표현을 개발한다.
• 수학적으로 타당한 부분공간 학습 프레임워크를 활용해 극단적인 조명 조건에서도 강건한 얼굴 인식을 가능하게 한다.
• 계산적으로 효율적이고, 데이터 효율적이며, 다양한 조명 데이터셋에 일반화 가능한 방법을 제공한다.
• 로그 변환과 같은 사전처리 기법을 통합하고, 이미지 패치의 적응형 가중치를 탐색하여 성능 향상을 도모한다.

제안 방법

• 입력 얼굴 이미지를 국소 패치로 분할하고, 각 패치에 대해 2차원 이산 기울기 분포를 계산한다.
• 국소 기울기 분포를 운반에 유리한 공간으로 매핑하기 위해 라돈 누적분포변환(R-CDT)을 적용한다.
• R-CDT 도메인에서 조명에 의한 기울기 분포의 변형을 선형 변환(스케일링 및 이동)으로 모델링한다.
• 각 이미지를 R-CDT 변환된 기울기 특징의 집합으로 표현하고, 가중치 거리 합산을 통해 통합한다.
• R-CDT 특징 공간에서 최근접 부분공간 방법을 통해 분류를 수행하며, 조명 변화에 강인한 분포의 볼록성을 활용한다.
• 조명 변화에 대한 강인성을 향상시키기 위해 로그 픽셀 변환을 사전처리 단계로 통합한다.

실험 결과

연구 질문

• RQ1 운반 기반 특징 공간에서 조명에 의한 국소 이미지 기울기 분포의 변형을 효과적으로 볼록 부분공간으로 모델링할 수 있는가?
• RQ2 R-CDT 변환이 표준 특징 기술자에 비해 조명 변화에 강인한 기울기 분포 간의 분리 성능을 향상시키는가?
• RQ3 제안된 방법이 극단적인 조명 변화가 있는 벤치마크 데이터셋에서 기존의 조명에 강인한 얼굴 인식 기법들을 얼마나 능가하는가?
• RQ4 로그 변환 사전처리의 통합이 R-CDT 기반 특징 표현의 강인성에 어떤 영향을 미치는가?
• RQ5 국소 이미지 패치의 적응형 가중치 부여가 더 구분력 있는 영역을 강조함으로써 인식 정확도를 추가로 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 도전적인 조명 변화가 있는 세 가지 기준 데이터셋에서 기존 최신 기술 수준(SOTA) 방법들을 능가하는 뛰어난 성능을 달성한다.
• 예일 얼굴 데이터베이스에서, 테스트 세트 1과 2의 이미지를 훈련 데이터에 포함했을 때 분류 정확도가 82.51%에 도달했으며, 청소년 이미지만 사용했을 때의 49.7%에서 크게 향상되었다.
• 로그 픽셀 사전처리의 추가로 분류 정확도가 일관되게 향상되었으며, 특히 예일 데이터셋의 테스트 세트 4와 같이 조명 변화가 심한 영역에서 가장 큰 향상이 관찰되었다.
• 이론적 분석을 통해 조명 변화 하에서 국소 기울기 분포가 R-CDT 도메인에서 볼록 집합을 이룬다는 것이 확인되었으며, 이는 효과적인 부분공간 분류를 가능하게 한다.
• 훈련 데이터가 증가할수록 성능이 향상됨에 따라, 단순한 스케일링 및 이동을 초월해 복잡한 조명 변화를 포착할 수 있음을 시사한다.
• 이 방법은 강력한 일반화 능력과 데이터 효율성을 보이며, 제한된 훈련 데이터가 존재할 때에도 상당한 정확도 향상이 이루어진다.