[論文レビュー] Linear and Quadratic Discriminant Analysis: Tutorial

Benyamin Ghojogh, Mark Crowley|arXiv (Cornell University)|Jun 1, 2019

Face and Expression Recognition参考文献 27被引用数 83

ひとこと要約

このチュートリアルでは、二値および多クラス設定に対してLDAとQDAを導出し、それらをメトリック学習および関連手法へ結び付け、パラメータ推定とFisher FDAとの等価性を考察します。 また、図示のためのシミュレーションも提供します。

ABSTRACT

This tutorial explains Linear Discriminant Analysis (LDA) and Quadratic Discriminant Analysis (QDA) as two fundamental classification methods in statistical and probabilistic learning. We start with the optimization of decision boundary on which the posteriors are equal. Then, LDA and QDA are derived for binary and multiple classes. The estimation of parameters in LDA and QDA are also covered. Then, we explain how LDA and QDA are related to metric learning, kernel principal component analysis, Mahalanobis distance, logistic regression, Bayes optimal classifier, Gaussian naive Bayes, and likelihood ratio test. We also prove that LDA and Fisher discriminant analysis are equivalent. We finally clarify some of the theoretical concepts with simulations we provide.

研究の動機と目的

• LDAとQDAにおけるクラス分離の最適化と境界形成を説明する。
• ガウス仮定の下で二値および多クラス分類のためのLDAとQDAを導出する。
• LDA/QDAにおける事前確率、平均、および共分散の推定手順を示す。
• LDA/QDAをメトリック学習、マハラノビス距離、カーネル法、FDA、ベイズ最適分類器に関連付ける。
• 理論概念と境界の挙動を illustrate するためのシミュレーションを提供する。

提案手法

• 事後確率を等しくすることとガウスベースの判別方程式を導出して境界を定式化する。
• 共分散が等しくガウス仮定の下でLDAの線形境界を導出する。
• クラス共分散が異なる場合のQDAの二次境界を導出する。
• 事前確率、クラス平均、クラス固有の共分散の推定を示す（MLE/MOMおよび不偏変種）。
• マハラノビス距離とSVDベースのデータ変換を通じてLDA/QDAをメトリック学習へ結びつける。
• FDA、カーネルPCA、Bayes/LRTの概念との同等性・関連性を論じる。

実験結果

リサーチクエスチョン

• RQ1 LDAとQDAにおけるガウス仮定の下での決定境界の形は何か？
• RQ2 事前確率、平均、および共分散推定がLDA/QDAの境界と分類にどう影響するか？
• RQ3 LDA/QDAとメトリック学習、マハラノビス距離、FDA、カーネル法などの関連手法とのつながりは何か？
• RQ4 どの条件下でLDAとQDAは単純なユークリッド距離やメトリックベースの分類に縮むか？
• RQ5 LDA/QDAをメトリック学習や多様体学習を誘発する変換として解釈するにはどうすればよいか。

主な発見

• クラス共分散が等しいとき、LDAは線形境界を生じ、ガウス尤度を用いて事後確率を等しくすることで導出される。
• クラス共分散が異なるとき、QDAは二次境界を生じ、境界はxの二次形式で定義される。
• LDAとQDAは、クラス特異的共分散を介してマハラノビス型距離を学習する、あるいは共分散を単位行列に正規化するデータ変換を介してメトリック学習として見ることができる。
• 等しい共分散と等しい事前確率の場合、両手法は単純な距離ベースの分類（クラス平均へのユークリッド距離）に縮約する。
• 事前確率はクラス平均への距離をスケーリングし、クラスの割合に応じて決定境界を移動させる。
• LDA/QDAのパラメータ推定は平均と共分散の標準的なML/MOMアプローチに従い、事前確率はクラス頻度から推定される。