[논문 리뷰] Linear and Quadratic Discriminant Analysis: Tutorial

Benyamin Ghojogh, Mark Crowley|arXiv (Cornell University)|2019. 06. 01.

Face and Expression Recognition참고 문헌 27인용 수 83

한 줄 요약

본 튜토리얼은 이진 및 다항 클래스 설정에 대한 LDA와 QDA를 도출하고, 이를 매트릭 학습 및 관련 방법들과 연결하며, 매개변수 추정 및 Fisher FDA와의 동등성에 대해 논의한다. 또한 설명을 위한 시뮬레이션을 제공한다.

ABSTRACT

This tutorial explains Linear Discriminant Analysis (LDA) and Quadratic Discriminant Analysis (QDA) as two fundamental classification methods in statistical and probabilistic learning. We start with the optimization of decision boundary on which the posteriors are equal. Then, LDA and QDA are derived for binary and multiple classes. The estimation of parameters in LDA and QDA are also covered. Then, we explain how LDA and QDA are related to metric learning, kernel principal component analysis, Mahalanobis distance, logistic regression, Bayes optimal classifier, Gaussian naive Bayes, and likelihood ratio test. We also prove that LDA and Fisher discriminant analysis are equivalent. We finally clarify some of the theoretical concepts with simulations we provide.

연구 동기 및 목표

• LDA와 QDA에서 클래스 구분을 위한 최적화와 경계 형성을 설명한다.
• 가우시안 가정하에서 이진 및 다중 클래스 분류를 위한 LDA와 QDA를 유도한다.
• LDA/QDA에서 사전 확률(priors), 평균, 공분산의 추정 절차를 제시한다.
• LDA/QDA를 매트릭 학습, 마할라노비스 거리, 커널 방법, FDA, 그리고 베이즈 최적 분류기와 연관지한다.
• 이론적 개념과 경계 동작을 보여주기 위한 시뮬레이션을 제공한다.

제안 방법

• 사후 확률을 등식으로 설정하고 가우시안 기반 판별식을 도출하여 결정 경계를 형식화한다.
• 동일 공분산 및 가우시안 가정하에서 LDA에 대한 선형 결정 경계를 유도한다.
• 클래스 공분산이 서로 다를 때 QDA에 대한 2차 결정 경계를 유도한다.
• 사전 확률, 클래스 평균, 클래스별 공분산의 추정(MLE/MOM 및 편향되지Variant)을 제시한다.
• 마할라노비스 거리 및 SVD 기반 데이터 변환을 통해 LDA/QDA를 매트릭 학습에 연결한다.
• FDA, 커널 PCA, 그리고 베이즈/LRT 개념과의 등가성 및 관련성을 논의한다.

실험 결과

연구 질문

• RQ1 가우시안 가정하에서 LDA와 QDA의 결정 경계 형태는 무엇인가?
• RQ2 사전 확률, 평균, 공분산 추정이 LDA/QDA 경계 및 분류에 어떤 영향을 미치는가?
• RQ3 LDA/QDA와 매트릭 학습, 마할라노비스 거리, FDA, 커널 방법 등 관련 방법 간의 연계는 무엇인가?
• RQ4 어떤 조건에서 LDA와 QDA가 단순한 유클리드 또는 준거 기반 분류로 축소되는가?
• RQ5 LDA/QDA를 매트릭 학습이나 매니폴드 학습을 유도하는 변환으로 해석할 수 있는가?

주요 결과

• 클래스 공분산이 같을 때 LDA는 선형 결정 경계를 갖는데, 가우시안 우도를 사용하여 사후 확률을 같게 하여 도출된다.
• 클래스 공분산이 다를 때 QDA는 2차 결정 경계를 갖고, 경계는 x의 2차 형태로 정의된다.
• LDA와 QDA는 클래스별 공분산을 통해 마할라노비스 유형의 거리를 학습하거나 공분산을 단위 행렬로 정규화하는 데이터 변환을 통해 메트릭 학습으로 볼 수 있다.
• 동일한 공분산과 동일한 사전에서 두 방법은 단순한 거리 기반 분류(평균에 대한 유클리드 거리)로 축소된다.
• 사전이 클래스 평균까지의 거리를 스케일링하여 클래스 비율에 따라 결정 경계를 이동시킨다.
• LDA/QDA의 매개변수 추정은 평균과 공분산에 대해 표준 ML/MOM 접근법을 따르고, 사전은 클래스 빈도로 추정한다.