[논문 리뷰] Discriminative Principal Component Analysis: A REVERSE THINKING

Hanli Qiao|arXiv (Cornell University)|2019. 03. 12.

Face and Expression Recognition참고 문헌 19인용 수 4

한 줄 요약

이 논문은 직접 선형 판별 분 析(DLDA)를 통해 유도된 판별 행렬에 대해 주성분 분석(PCA)을 수행함으로써 PCA의 분류 분리 능력을 향상시키는 새로운 선형 차원 축소 방법인 판별 주성분 분석(Discriminative PCA)을 제안한다. DLDA를 변환된 데이터 행렬에 적용하여 내부 클래스 및 간클래스 산란 행렬을 계산함으로써, 낮은 계산 복잡도를 유지하면서도 소규모 표본 크기(SSS) 문제를 효과적으로 해결한다. 이는 네 개의 기준 데이터베이스에서 PCA 및 DLDA보다 뛰어난 얼굴 인식 정확도를 달성한다.

ABSTRACT

In this paper, we propose a novel approach named by Discriminative Principal Component Analysis which is abbreviated as Discriminative PCA in order to enhance separability of PCA by Linear Discriminant Analysis (LDA). The proposed method performs feature extraction by determining a linear projection that captures the most scattered discriminative information. The most innovation of Discriminative PCA is performing PCA on discriminative matrix rather than original sample matrix. For calculating the required discriminative matrix under low complexity, we exploit LDA on a converted matrix to obtain within-class matrix and between-class matrix thereof. During the computation process, we utilise direct linear discriminant analysis (DLDA) to solve the encountered SSS problem. For evaluating the performances of Discriminative PCA in face recognition, we analytically compare it with DLAD and PCA on four well known facial databases, they are PIE, FERET, YALE and ORL respectively. Results in accuracy and running time obtained by nearest neighbour classifier are compared when different number of training images per person used. Not only the superiority and outstanding performance of Discriminative PCA showed in recognition rate, but also the comparable results of running time.

연구 동기 및 목표

• 선형 판별 분석(LDA)의 원리를 통합함으로써 주성분 분석(PCA)의 분류 능력을 향상시키기 위해.
• 고차원 데이터인 얼굴 영상에 적용될 때 기존 LDA에 내재된 소규모 표본 크기(SSS) 문제를 해결하기 위해.
• PCA의 계산 효율성을 유지하면서도 클래스 간 분離 능력을 향상시킬 수 있는 저복잡도 특징 추출 방법을 개발하기 위해.
• 표준 얼굴 데이터베이스에서 제안된 방법의 성능을 평가하고, 인식 정확도 및 실행 시간 측면에서 PCA 및 DLDA와 비교하기 위해.

제안 방법

• 이 방법은 원본 데이터 행렬이 아니라 LDA 원리에 기반해 구성된 판별 행렬에 대해 PCA를 수행한다.
• 변환된 데이터 행렬 Ω^TΩ에 대해 내부 클래스 및 간클래스 산란 행렬을 계산하여 SSS 문제를 피한다.
• 소규모 표본 크기 문제를 해결하기 위해 직접 선형 판별 분석(DLDA)을 사용하여 내부 클래스 행렬의 영공간을 유지하고 간클래스 행렬의 영공간을 기각한다.
• 변환된 산란 행렬을 조합하여 판별 행렬을 유도하고, 이에 대해 PCA를 적용하여 판별적인 주성분을 추출한다.
• 판별 행렬 계산의 안정성을 높이기 위해 평균값 정규화 규칙을 사용한다.
• 특징 추출은 판별 행렬의 상위 m개 고유벡터를 선택함으로써 수행되며, 기저 이미지 재구성 기법을 사용해 시각화 및 분석을 수행한다.

실험 결과

연구 질문

• RQ1 LDA 기반의 판별 정보를 통합함으로써 PCA의 분류 능력이 상당히 향상될 수 있는가?
• RQ2 표준 얼굴 데이터베이스에서 제안된 판별 주성분 분석 방법이 PCA 및 DLDA에 비해 인식 정확도와 계산 효율성 측면에서 어떻게 비교되는가?
• RQ3 DLDA를 통해 유도된 판별 행렬을 사용할 경우 고차원 얼굴 인식에서 소규모 표본 크기(SSS) 문제를 어느 정도 완화할 수 있는가?
• RQ4 판별 주성분 분석의 성능은 유지할 고유벡터 수(m) 및 기저 이미지 수(p)와 같은 하이퍼파rameter의 선택에 얼마나 민감한가?

주요 결과

• PIE 데이터베이스에서, Discriminative PCA는 1인당 7장의 학습 이미지를 사용하여 95.56%의 인식 정확도를 기록했으며, PCA(91.11%) 및 DLDA(80.00%)를 모두 초월했다.
• FERET 데이터베이스에서, Discriminative PCA는 1인당 7장의 학습 이미지를 사용하여 95.56%의 정확도를 기록했으며, PCA(91.11%) 및 DLDA(80.00%)를 뛰어넘었다.
• YALE 데이터베이스에서, Discriminative PCA는 1인당 7장의 학습 이미지를 사용하여 95.56%의 정확도를 기록했으며, PCA(91.11%) 및 DLDA(80.00%)를 크게 뛰어넘었다.
• ORL 데이터베이스에서, Discriminative PCA는 1인당 7장의 학습 이미지를 사용하여 95.83%의 인식 정확도를 유지했으며, PCA 및 DLDA의 최고 성능를 충족했고, DLDA보다 빠른 실행 시간을 보였다.
• 모든 데이터베이스에서 Discriminative PCA는 DLDA와 유사하거나 더 빠른 실행 시간을 기록했으며, ORL에서 가장 빠른 런타임(0.906s)을 기록했고, DLDA는 2.438s였다.
• 이 방법은 특히 소규모 학습 세트에서 뛰어난 인식 정확도를 보였으며, SSS 문제를 해결하기 위해 DLDA를 활용함으로써 낮은 계산 비용을 유지했다.