[論文レビュー] Sparse Quadratic Discriminant Analysis and Community Bayes

Ya Le, Trevor Hastie|arXiv (Cornell University)|Jul 17, 2014

Face and Expression Recognition参考文献 5被引用数 7

ひとこと要約

本稿では、クラス固有の精度行列に共通のスパarsityを誘導するグループラッソ罰則を用いた正則化分類手法、スパース2次判別分析（SQDA）を提案する。これにより、スパースな相互作用項を有する解釈可能なモデルが得られる。さらに、スパarsity構造に基づいて特徴量を条件付き独立なコミュニティに分割する「コミュニティベイズフレームワーク」を提案し、高次元データにおける精度と解釈可能性を向上させる。

ABSTRACT

We develop a class of rules spanning the range between quadratic discriminant analysis and naive Bayes, through a path of sparse graphical models. A group lasso penalty is used to introduce shrinkage and encourage a similar pattern of sparsity across precision matrices. It gives sparse estimates of interactions and produces interpretable models. Inspired by the connected-components structure of the estimated precision matrices, we propose the community Bayes model, which partitions features into several conditional independent communities and splits the classification problem into separate smaller ones. The community Bayes idea is quite general and can be applied to non-Gaussian data and likelihood-based classifiers.

研究の動機と目的

• 標本サイズが特徴量次元に比べて小さい場合に顕著に劣化する従来のQDAの性能を改善すること。
• 正則化によるスパース性を導入することで、密行列であるQDAの解釈可能性の限界を克服すること。
• QDAとナイーブベイズの間のギャップを埋めるために、共有スパースパターンを持つ柔軟なモデルのパスを構築すること。
• 特徴量間の条件付き独立性を活用して分類精度とモデルの解釈可能性を向上させる一般化フレームワーク「コミュニティベイズ」を提案すること。
• ガウス分布の仮定を越えた非ガウスデータおよびガウス仮定に依存しない尤度ベース分類器への拡張を図ること。

提案手法

• すべてのK個のクラス固有精度行列の(i,j)成分にグループラッソ罰則を適用し、共通のスパースパターンを強制する。
• グループラッソ項を含む正則化された対数尤度関数を最大化する：$\sum_{k=1}^{K} \left[ \frac{n_k}{2}\log\det \mathbf{\Theta}^{(k)} - \frac{1}{2}\sum_{g_i=k}(x_i - \mu_k)^T \mathbf{\Theta}^{(k)}(x_i - \mu_k) + n_k\log\pi_k \right] - \frac{\lambda}{2}\sum_{i\neq j}\|\theta_{ij}\|_2$。
• 標本平均と比率を用いてクラス平均と事前確率を推定する：$\hat{\mu}_k = \frac{1}{n_k}\sum_{g_i=k}x_i$, $\hat{\pi}_k = \frac{n_k}{n}$。
• 推定された精度行列の連結成分を用いて特徴量コミュニティを定義し、各コミュニティ内では他の特徴量を条件付きに独立とする。
• コミュニティベイズを適用し、各コミュニティ内で分類問題を別々に解き、最終予測のための結果を統合する。
• 推定された精度グラフの連結成分としきい値を適用した類内標本共分散行列の連結成分との間で理論的同等性を確立し、コミュニティ検出の一貫性を保証する。

実験結果

リサーチクエスチョン

• RQ1 クラス固有の精度行列に共通のスパースパターンを誘導することで、モデルの柔軟性と解釈可能性のバランスを取る正則化QDA手法を開発可能か？
• RQ2 異なるクラスの精度行列成分にグループラッソ罰則を適用することで、推定された相互作用項の構造とモデルの解釈性にどのような影響を与えるか？
• RQ3 推定された精度行列の連結成分構造を活用して、特徴量を条件付き独立なコミュニティに分割可能か？
• RQ4 コミュニティベイズフレームワークは、標準QDAやナイーブベイズと比較して、高次元設定下で分類精度と計算効率を向上させるか？
• RQ5 適切な条件下で、推定された精度グラフに基づくコミュニティ検出は、しきい値を適用した標本共分散行列に基づくものと一貫しているか？

主な発見

• グループラッソ罰則により、すべてのクラス固有精度行列に共通のスパースパターンが効果的に誘導され、スパースな相互作用項が得られ、モデルの解釈性が向上した。
• 推定された精度行列の連結成分は、類内標本共分散行列をしきい値処理した場合のものと正確に一致し、コミュニティ検出手法の妥当性が裏付けられた。
• コミュニティベイズモデルは、特徴量間の条件付き独立性を活用することで、高次元設定下でQDAおよびナイーブベイズよりも優れた分類精度を達成した。
• 理論的に一貫性がある：適切な条件下で、推定されたコミュニティ構造は高確率で真の潜在的コミュニティ構造と一致する。
• 特定のλにおける推定精度グラフの頂点分割集合は、より高いλにおけるものに含まれるため、階層的整合性が保証された。
• 誤ったコミュニティ検出の確率は$\frac{K}{p^2}$で有界であり、高次元漸近的条件下で強い理論的整合性を示した。