[논문 리뷰] Roweis Discriminant Analysis: A Generalized Subspace Learning Method

Benyamin Ghojogh, Fakhri Karray외 1명|arXiv (Cornell University)|2019. 10. 11.

Face and Expression Recognition참고 문헌 54인용 수 5

한 줄 요약

이 논문은 고유값 문제와 일반화된 고유값 문제를 통해 주성분분석(PCA), 선형판별분석(FDA), 그리고 정규화된 주성분분석(SPCA)을 특수한 경우로 포함하는 일반화된 부분공간 학습 프레임워크인 Roweis Discriminant Analysis(RDA)를 소개한다. 이는 기존의 이론적 차이를 설명하는 데 기여하며, 이중 지도형 판별분석(DSDA)과 커널 RDA와 같은 새로운 방법을 제안한다. 특히 커널 FDA가 커널 트릭이 아닌 표현 이론을 기반으로 하는 이유를 설명한다.

ABSTRACT

We present a new method which generalizes subspace learning based on eigenvalue and generalized eigenvalue problems. This method, Roweis Discriminant Analysis (RDA), is named after Sam Roweis to whom the field of subspace learning owes significantly. RDA is a family of infinite number of algorithms where Principal Component Analysis (PCA), Supervised PCA (SPCA), and Fisher Discriminant Analysis (FDA) are special cases. One of the extreme special cases, which we name Double Supervised Discriminant Analysis (DSDA), uses the labels twice; it is novel and has not appeared elsewhere. We propose a dual for RDA for some special cases. We also propose kernel RDA, generalizing kernel PCA, kernel SPCA, and kernel FDA, using both dual RDA and representation theory. Our theoretical analysis explains previously known facts such as why SPCA can use regression but FDA cannot, why PCA and SPCA have duals but FDA does not, why kernel PCA and kernel SPCA use kernel trick but kernel FDA does not, and why PCA is the best linear method for reconstruction. Roweisfaces and kernel Roweisfaces are also proposed generalizing eigenfaces, Fisherfaces, supervised eigenfaces, and their kernel variants. We also report experiments showing the effectiveness of RDA and kernel RDA on some benchmark datasets.

연구 동기 및 목표

• 고유값 문제 기반의 통합 최적화 프레임워크를 통해 PCA, FDA, SPCA와 같은 기존 선형 부분공간 학습 방법들을 하나의 일반화된 프레임워크로 통합하는 것.
• 기존 방법들 간의 이론적 모순을 해결하는 것—예를 들어 SPCA는 회귀도 가능하지만 FDA는 그렇지 않은 이유, FDA는 이중 형식이 없는 이유.
• 커널 사용 방식의 근본적 차이를 설명하는 것—왜 커널 PCA와 SPCA는 커널 트릭을 사용하지만, 커널 FDA는 표현 이론이 필요로 하는가.
• 이중 지도형 판별분석(DSDA)과 같이 레이블 정보를 두 번 사용하는 새로운 변종을 제안하는 것. 또한 비선형 설정으로의 확장을 가능하게 하는 커널 RDA를 개발하는 것.
• 고유얼굴(eigenfaces)과 파이셔얼굴(Fisherfaces)의 일반화로 Roweisfaces와 커널 Roweisfaces를 도입하여 얼굴 인식 방법을 일반화하는 것.

제안 방법

• RDA는 일반화된 고유값 문제로 공식화되며, 고유값 문제 기반의 통합 최적화 프레임워크를 통해 PCA, SPCA, FDA를 특수한 경우로 포함한다.
• 이 방법은 클래스 평균과 데이터 산란에 대한 가중치 체계를 파ameter로 하는 무한한 알고리즘 가족을 도입하여 부분공간 학습의 유연성을 높인다.
• 이중 지도형 판별분석(DSDA)은 최적화 과정에서 레이블 정보를 두 번 사용하는 극단적 경우로 유도되며, 이는 클래스 간 분리도를 향상시킨다.
• 커널 RDA는 이중 RDA와 표현 이론을 모두 활용하여, 커널 PCA, 커널 SPCA, 커널 FDA를 하나의 비선형 프레임워크로 일반화한다.
• 이 프레임워크는 커널 함수를 사용해 데이터를 특징 공간으로 매핑하며, 수학적으로 타당한 경우에만 커널 트릭을 적용한다. 이는 커널 FDA에서 커널 트릭이 존재하지 않는 이유를 설명한다.
• 이론적 분석은 표현 이론과 행렬 분해를 활용하여, 이중 형식이 존재하는 조건과 커널 트릭이 적용 가능한 조건을 도출한다.

실험 결과

연구 질문

• RQ1 왜 SPCA는 분류와 회귀 양쪽에 사용될 수 있지만, FDA는 분류에만 국한되는가?
• RQ2 왜 PCA와 SPCA는 이중 형식을 가지지만, FDA는 그렇지 않은가?
• RQ3 왜 커널 PCA와 커널 SPCA는 커널 트릭을 사용하지만, 커널 FDA는 표현 이론이 필요로 하는가?
• RQ4 왜 데이터 복원에 있어 PCA가 최적의 선형 방법인가에 대한 이론적 근거는 무엇인가?
• RQ5 PCA, FDA, SPCA 및 그 커널 변종을 일반화할 수 있는 통합 프레임워크를 구축할 수 있는가? 이 프레임워크는 그들의 구조적 차이를 설명할 수 있는가?

주요 결과

• RDA는 일반화된 고유값 문제의 특수한 경우로 PCA, SPCA, FDA를 성공적으로 통합하여, 이들 간의 공통된 수학적 구조를 드러낸다.
• 이중 지도형 판별분석(DSDA)은 RDA의 새로운 극단적 경우로 제안되며, 레이블 정보를 두 번 사용하여 벤치마크 데이터셋에서 향상된 성능을 보여준다.
• 커널 RDA는 표현 이론과 이중 형식을 활용하여 유도되며, 커널 PCA, 커널 SPCA, 커널 FDA를 하나의 비선형 프레임워크로 일반화한다.
• 이론적 분석은 FDA의 산란 행렬의 구조상 커널 트릭이 적용될 수 없음을 확인하며, 이는 표현 이론이 필요한 이유를 설명한다.
• 벤치마크 데이터셋에서의 실험 결과, RDA와 커널 RDA는 분류 정확도와 복원 오차에서 최신 기술과 경쟁하거나 그 이상의 성능을 보였다.
• 고유얼굴과 파이셔얼굴의 일반화로 Roweisfaces와 커널 Roweisfaces를 도입하여, 이 프레임워크가 얼굴 인식 작업에 적용 가능함을 보여주었다.