[논문 리뷰] Dictionary Integration using 3D Morphable Face Models for Pose-invariant Collaborative-representation-based Classification

Xiaoning Song, Zhenhua Feng외 4명|arXiv (Cornell University)|2016. 11. 01.

Face recognition and analysis참고 문헌 29인용 수 6

한 줄 요약

이 논문은 협업 표현 기반 분류(CRC)의 성능을 햖थ기 위해 3D 모형화된 얼굴 모델(3DMM)을 사용한 자세 불변 얼굴 분류 방법을 제안한다. 2D 얼굴 이미지에 3DMM를 피팅하여 다양한 자세 변화를 가진 가상의 훈련 샘플을 생성하고, 이를 확장된 사전에 통합한 후 러닝 중 제거 전략을 적용하여 부정확성과 재현의 희박성을 감소시킨다. 이 방법은 특히 큰 자세 변화 상황에서 최신 기술 수준의 성능을 달성하며, 클래스당 훈련 샘플이 3개뿐인 FERET 데이터셋에서 94.0%의 정확도를 기록한다.

ABSTRACT

The paper presents a dictionary integration algorithm using 3D morphable face models (3DMM) for pose-invariant collaborative-representation-based face classification. To this end, we first fit a 3DMM to the 2D face images of a dictionary to reconstruct the 3D shape and texture of each image. The 3D faces are used to render a number of virtual 2D face images with arbitrary pose variations to augment the training data, by merging the original and rendered virtual samples to create an extended dictionary. Second, to reduce the information redundancy of the extended dictionary and improve the sparsity of reconstruction coefficient vectors using collaborative-representation-based classification (CRC), we exploit an on-line elimination scheme to optimise the extended dictionary by identifying the most representative training samples for a given query. The final goal is to perform pose-invariant face classification using the proposed dictionary integration method and the on-line pruning strategy under the CRC framework. Experimental results obtained for a set of well-known face datasets demonstrate the merits of the proposed method, especially its robustness to pose variations.

연구 동기 및 목표

• 제한된 훈련 샘플이 존재할 때 자세 변화 문제를 해결하기 위해.
• 큰 자세 변화 상황에서 협업 표현 기반 분류(CRC)의 강건성을 향상시키기 위해.
• 데이터 증강을 통해 생성된 확장된 사전 내의 정보 중복을 줄이기 위해.
• 재현 오차 기반으로 덜 표현적인 샘플을 제거하여 희박성과 분류 정확도를 향상시키는 온라인 제거 전략을 개발하기 위해.
• 3D 모형화된 얼굴 모델(3DMM)을 CRC 프레임워크에 통합하여 자세 변화에 걸쳐 일반화 능력을 향상시키기 위해.

제안 방법

• 훈련 사전에 포함된 2D 얼굴 이미지에 3D 모형화된 얼굴 모델(3DMM)을 피팅하여 3D 형태와 텍스처를 재구성한다.
• 재구성된 3D 얼굴에서 다양한 자세 각도로 가상의 2D 얼굴 이미지를 렌더링하여 훈련 세트를 증강한다.
• 기존 샘플과 렌더링된 가상 샘플을 융합하여 훈련을 위한 확장된 사전을 구성한다.
• 쿼리에 대해 가장 표현적인 샘플만을 식별하고 유지함으로써 중복을 줄이는 온라인 제거 기법을 적용한다.
• 최적화된 사전을 CRC 프레임워크 내에서 활용하여 자세 불변 얼굴 분류를 수행한다.
• 재구성 오차 기반으로 재현성이 낮은 샘플을 제거함으로써 분류 중에 사전을 실시간으로 최적화한다.

실험 결과

연구 질문

• RQ1 3DMM 기반의 가상 데이터 증강이 큰 자세 변화 상황에서 CRC 성능을 크게 향상시키는가?
• RQ2 3DMM로 생성된 가상 샘플의 통합은 CRC에서 재구성 계수의 희박성과 정확도에 어떤 영향을 미치는가?
• RQ3 온라인 제거 전략은 확장된 사전 내의 중복을 어느 정도 줄이며 분류 정확도를 유지하는가?
• RQ4 제한된 훈련 샘플과 자세 변화 상황에서 제안된 방법은 기준 CRC 및 SRC와 비교해 어떻게 성능이 뛰어나게 되는가?
• RQ5 제안된 방법은 외관 변동성이 높은 데이터셋에서 기존의 데이터 증강 기법보다 더 잘 일반화되는가?

주요 결과

• 제안된 3DPD-CRC 방법은 클래스당 랜덤으로 선택된 훈련 샘플이 3개뿐인 FERET 데이터셋에서 94.0%의 얼굴 인식 정확도를 달성하여 기준 방법보다 뚜렷이 뛰어나다.
• PIE 데이터셋에서 클래스당 4개의 훈련 샘플로 97.1%의 정확도를 기록하여 자세 변화에 대한 강건성을 입증한다.
• FERET에서 클래스당 2개의 훈련 샘플로도 81.5%의 정확도를 달성하였으며, 표준 CRC의 55.6% 및 SRC의 68.7%보다 뛰어나다.
• 온라인 제거 전략은 중복을 줄여 성능을 향상시키며, 제거 비율이 70%까지 증가함에 따라 인식률이 안정화되거나 약간 향상된다.
• FERET와 PIE에서 높은 외관 변동성을 보이는 ORL보다 뛰어난 성능을 보이며, 복잡한 실생활 상황에서의 효과성을 입증한다.
• 결과는 기존의 데이터 증강 방법이 모델링하지 못하는 내부 클래스 자세 변화를 3DMM 기반의 가상 샘플 생성이 효과적으로 포착함을 확인한다.