[論文レビュー] Multiclass Sparse Discriminant Analysis

Qing Mai, Yi Yang+1 more|arXiv (Cornell University)|Apr 22, 2015

Sparse and Compressive Sensing Techniques参考文献 11被引用数 24

ひとこと要約

本稿では、統一的最適化枠組みを用いて、同時にすべての判別方向を推定する新しい多クラススパース判別分析手法を提案する。この手法は、超高次元設定下でも変数選択の理論的一貫性と収束速度を達成しており、2クラスの場合には既存の二値スパースLDA手法と同等であり、シミュレートデータおよび実データにおいて優れた経験的性能を示す。

ABSTRACT

In recent years many sparse linear discriminant analysis methods have been proposed for high-dimensional classification and variable selection. However, most of these proposals focus on binary classification and they are not directly applicable to multiclass classification problems. There are two sparse discriminant analysis methods that can handle multiclass classification problems, but their theoretical justifications remain unknown. In this paper, we propose a new multiclass sparse discriminant analysis method that estimates all discriminant directions simultaneously. We show that when applied to the binary case our proposal yields a classification direction that is equivalent to those by two successful binary sparse LDA methods in the literature. An efficient algorithm is developed for computing our method with high-dimensional data. Variable selection consistency and rates of convergence are established under the ultrahigh dimensionality setting. We further demonstrate the superior performance of our proposal over the existing methods on simulated and real data.

研究の動機と目的

• 既存の多クラススパース判別分析手法における理論的裏付けの欠如に対処すること。
• 二値スパースLDAを多クラス問題に一般化し、すべての判別方向を同時に推定する手法を開発すること。
• 超高次元設定下での変数選択の一貫性や収束速度といった理論的性質を確立すること。
• 高次元データに対して計算効率の良いアルゴリズムを提供すること。
• スパース最適スコアリングやℓ1正則化 Fisher の判別法といった既存手法と比較して優れた分類性能を示すこと。

提案手法

• すべての多クラス判別方向を逐次的またはグリーディな選択を避けて同時に推定する統一的最適化枠組みを提案する。
• ℓ1正則化を用いた罰則付き尤度の定式化により、判別方向のスパarsityを誘導する。
• 逆分散共分散行列とクラス間散乱行列を組み合わせた変換行列の固有値分解を用いて解を導出し、ベイズルールの部分空間と整合するように保証する。
• 高次元計算に適した効率的な更新を備えたブロック座標降下法を採用する。
• 2クラスの場合に二値スパースLDAと同等であることを示すことで、ベイズルールとの理論的関連性を確立する。
• 推定誤差のバウンドと収束速度の導出に、新しい集中不等式の議論を用いる。

実験結果

リサーチクエスチョン

• RQ1 超高次元設定下でも強固な理論的保証を持つ多クラススパース判別分析手法を開発できるか？
• RQ2 提案手法は高次元分類において変数選択の一貫性と最適な収束速度を達成するか？
• RQ3 判別方向の同時推定は、逐次的または個別的推定と比較して性能および理論的性質において優れているか？
• RQ4 二値の場合に、この手法は既存の二値スパースLDA手法と同等か？
• RQ5 実データおよびシミュレートデータにおいて、スパース最適スコアリングおよびℓ1正則化 Fisher の判別法と比較して、経験的にどのように性能を発揮するか？

主な発見

• 提案手法は超高次元設定下で変数選択の一貫性を達成しており、真の非ゼロ予測変数を高確率で正しく特定する。
• 分類リスクの収束速度が、λ（正則化パラメータ）のオーダーで O(λ^{1/3}) であることが示された。
• 2クラスの場合、推定された判別方向は、2つのよく知られた二値スパースLDA手法（例：直接スパース判別分析および正則化最適アフィン判別）と同等である。
• シミュレートデータおよび実データの両方において、スパース最適スコアリングおよびℓ1正則化 Fisher の判別法よりも分類精度が優れている。
• 高次元データ（数千の特徴量を有する）に対応可能な効率的なブロック座標降下アルゴリズムが開発された。
• 理論的分析により、正則性条件の下で、推定された判別方向が真の方向へ、スパarsityおよび信号強度に依存するレートで収束することが確認された。