[논문 리뷰] Fisher and Kernel Fisher Discriminant Analysis: Tutorial

Benyamin Ghojogh, Fakhri Karray외 1명|arXiv (Cornell University)|2019. 06. 22.

Face and Expression Recognition참고 문헌 36인용 수 17

한 줄 요약

이 튜토리얼은 피셔 판별 분석(Fisher Discriminant Analysis, FDA)과 커널 FDA에 대한 종합적인 개요를 제시하며, 그 수학적 기초, 레일리 몫(Recayleigh quotient)을 통한 최적화, 그리고 선형 판별 분석(LDA)과의 동치성에 대해 설명한다. 투영, 산란 행렬, 부분공간 차원 수, 특이성에 대한 강건성, 얼굴 및 동작 인식 분야의 응용을 다루며, AT&T 얼굴 데이터셋에 대한 시뮬레이션을 통해 FDA가 클래스 간 분리도에서 PCA보다 뛰어난 성능을 보임을 입증한다.

ABSTRACT

This is a detailed tutorial paper which explains the Fisher discriminant Analysis (FDA) and kernel FDA. We start with projection and reconstruction. Then, one- and multi-dimensional FDA subspaces are covered. Scatters in two- and then multi-classes are explained in FDA. Then, we discuss on the rank of the scatters and the dimensionality of the subspace. A real-life example is also provided for interpreting FDA. Then, possible singularity of the scatter is discussed to introduce robust FDA. PCA and FDA directions are also compared. We also prove that FDA and linear discriminant analysis are equivalent. Fisher forest is also introduced as an ensemble of fisher subspaces useful for handling data with different features and dimensionality. Afterwards, kernel FDA is explained for both one- and multi-dimensional subspaces with both two- and multi-classes. Finally, some simulations are performed on AT&T face dataset to illustrate FDA and compare it with PCA.

연구 동기 및 목표

• 연구자 및 실무자들을 대상으로 피셔 판별 분석(FDA)과 그 커널 확장에 대한 상세한 튜토리얼을 제공하는 것.
• 산란 행렬, 투영, 레일리 몫을 통한 최적화를 포함한 FDA의 수학적 수식을 명확히 설명하는 것.
• 문헌에서 흔히 혼동되는 바를 해결하기 위해 FDA와 선형 판별 분석(LDA) 간의 동치성을 규명하는 것.
• 특이성 문제를 다루고 일반화 성능을 향상시키기 위해 강건한 FDA 변형을 도입하는 것.
• AT&T 얼굴 데이터셋에 대한 시뮬레이션과 실세계 응용(예: 얼굴 및 제스처 인식)을 통해 FDA 및 커널 FDA의 효과성을 입증하는 것.

제안 방법

• p개의 벡터로 생성된 부분공간에 대한 투영 문제로 FDA를 수식화하며, 재구성 오차를 최소화하기 위해 직교 투영을 사용한다.
• 일반화된 레일리-리츠 몫을 통한 최적의 투영 방향 유도로, 군집 간 및 군집 내 산란 행렬을 포함한 고유값 문제로 이어진다.
• 두 클래스 및 다중 클래스 문제에 대해 산란 행렬(S_B 및 S_W)의 개념을 도입하며, 이러한 행렬의 질량에 의해 부분공간의 차원이 제약을 받는다.
• 양의 정부호 조건을 가정할 때, 일반화된 고유값 문제를 표준 고유값 문제로 변환하기 위해 콜레스키 분해를 적용한다.
• 고차원, 소수의 샘플 수가 존재하는 상황에서의 특이성 문제를 다루기 위해 군집 내 산란 행렬을 정규화함으로써 강건한 FDA를 제안한다.
• 다양한 특징 차원을 가진 이질적인 데이터를 다루기 위해 다수의 FDA 부분공간을 조합한 앙상블 방법인 피셔 포레스트(Fisher Forest)를 도입한다.

실험 결과

연구 질문

• RQ1 피셔 판별 분석(FDA)은 최적의 방향 선택을 포함한 부분공간 투영 문제로 어떻게 수학적으로 기술되는가?
• RQ2 FDA와 선형 판별 분석(LDA) 간의 관계는 무엇이며, 왜 이 둘은 동치인가?
• RQ3 커널 FDA는 커널 기법과 재생 핵 힐버트 공간을 이용해 비선형 특징 공간으로 FDA를 어떻게 확장하는가?
• RQ4 산란 행렬이 특이성이 되는 조건는 무엇이며, 강건한 FDA는 이 문제를 어떻게 완화하는가?
• RQ5 클래스 간 분리도 측면에서 FDA는 PCA에 비해 어떻게 비교되는가? 실제 데이터셋에서 이를 뒷받침하는 실증적 증거는 무엇인가?

주요 결과

• FDA와 LDA는 둘 다 군집 간 및 군집 내 산란 행렬을 포함한 동일한 일반화된 고유값 문제를 해결하므로 수학적으로 동치이다.
• FDA에서 최적의 투영 방향은 일반화된 고유값 문제 S_B w = λ S_W w를 풀어 얻으며, 여기서 w는 클래스 간 분리도를 최대화하는 방향이다.
• FDA 부분공간의 차원은 군집 간 산란 행렬의 질량에 의해 제한되며, c개의 클래스가 있을 경우 최대 c−1이다.
• AT&T 얼굴 데이터셋에 대한 시뮬레이션 결과, 특히 저차원 투영에서 FDA가 PCA보다 더 뛰어난 클래스 간 분리도를 달성함을 확인하였다.
• 군집 내 산란 행렬의 정규화를 통해 확보된 강건한 FDA는 고차원, 소수의 샘플 수가 존재하는 환경에서 특이성 문제를 효과적으로 다룬다.
• 다양한 특징 세트를 가진 다수의 저차원 투영을 조합하는 피셔 포레스트는 이질적인 데이터에 대해 성능을 향상시킨다.