[論文レビュー] Discriminant Analysis with Adaptively Pooled Covariance

Noah Simon, Rob Tibshirani|arXiv (Cornell University)|Nov 7, 2011

Face and Expression Recognition参考文献 2被引用数 6

ひとこと要約

本稿では、逆共分散行列の差にスパース性を課すことで、2つのクラス間で精度行列の要素を適応的にプールする正則化判別分析手法ℓ₁-PDAを提案する。ℓ₁正則化を精度行列の差に適用することにより、LDAのように分散を低減しつつ、QDAのように強いバイアスを避けることができ、標本サイズがやや小さい高次元データにおいて分類精度が向上する。

ABSTRACT

Linear and Quadratic Discriminant analysis (LDA/QDA) are common tools for classification problems. For these methods we assume observations are normally distributed within group. We estimate a mean and covariance matrix for each group and classify using Bayes theorem. With LDA, we estimate a single, pooled covariance matrix, while for QDA we estimate a separate covariance matrix for each group. Rarely do we believe in a homogeneous covariance structure between groups, but often there is insufficient data to separately estimate covariance matrices. We propose L1- PDA, a regularized model which adaptively pools elements of the precision matrices. Adaptively pooling these matrices decreases the variance of our estimates (as in LDA), without overly biasing them. In this paper, we propose and discuss this method, give an efficient algorithm to fit it for moderate sized problems, and show its efficacy on real and simulated datasets.

研究の動機と目的

• 各クラスの分離された共分散行列を推定するのに十分な標本サイズが得られない高次元分類の課題に対処すること。
• 従来のLDA（過度に制限された同一性仮定）およびQDA（多くのパラメータによる高い分散）の限界を克服すること。
• 類似した共分散構造の要素のみを適応的にプールする手法を開発し、推定分散を低減しつつ過剰なバイアスを避けること。
• クラス固有の精度行列の差のスパース推定を可能にし、どの変数同士の相互作用がクラス間で異なるかを特定すること。
• ADMMを用いた収束保証付きの計算効率の良いアルゴリズムを提供すること。

提案手法

• 精度行列の差に対するℓ₀ノルムをℓ₁ペナルティに置き換えることで、組み合わせ最適化問題の凸緩和を提案する。
• 負の対数尤度の最小化問題として定式化し、逆共分散行列の差にℓ₁ペナルティを課す。
• 交替方向乗数法（ADMM）を用いて、非凸問題をブロック反復的かつ収束的に解く。
• ADMMの部分問題に対して閉形式の更新式を導出する：共分散更新には固有値分解、精度行列差の更新にはソフトサブトラクションを用いる。
• 平均と共分散の推定を分離する：平均パラメータは共分散構造とは独立して推定され、計算が簡略化される。
• ADMMアルゴリズムにおける固有値に基づく更新により、推定された共分散行列が半正定値であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 クラス間で精度行列の関連する要素のみを適応的にプールすることで、高次元設定における分類性能を向上させられるか？
• RQ2 クラス固有の精度行列の差にスパース性を課すことで、標準的なLDAやQDAよりも高い推定精度が得られるか？
• RQ3 構造的スパース性を精度行列差に持つ正則化判別モデルを適合させるにあたり、スケーラブルで収束保証付きのアルゴリズムを開発できるか？
• RQ4 ℓ₁-PDAは、RDA やグラフィカルlassoといった既存手法と比較して、分類誤差および変数選択の観点で優れているか？
• RQ5 この手法は、クラス間の条件付き独立構造の意味のある差をどの程度正確に特定できるか？

主な発見

• 実データおよびシミュレートデータの両方において、ℓ₁-PDAはLDAおよびQDAよりも低い分類誤差を達成しており、特に真の精度行列が僅か数個の要素のみで異なる場合に顕著である。
• 本手法は適応的に共分散要素をプールし、LDAが強い同一性仮定を課すのを避ける一方で分散を低減する。
• ADMMに基づくアルゴリズムは、変数数p ≈ 100までの問題において信頼性高くかつ効率的に収束し、数万のパラメータを扱える。
• ℓ₁ペナルティは精度行列の差にスパース性を誘導し、どの変数ペアがクラス間で異なる条件付き依存関係を持つのかを特定可能にする。
• 実験的結果から、中程度の標本サイズと高次元性の設定において、ℓ₁-PDAはRDAおよび標準的なQDAを上回ることが示された。
• 本手法は、異なるクラスにおける変数間の差分的相互作用を自然に特定・モデル化でき、純粋な分類を超えた解釈可能性を提供する。