[論文レビュー] Main and Interaction Effects Selection for Quadratic Discriminant Analysis via Penalized Linear Regression

Deqiang Zheng, Jinzhu Jia+2 more|arXiv (Cornell University)|Feb 15, 2017

Statistical Methods and Inference参考文献 23被引用数 9

ひとこと要約

本稿では、二値分類のための2次判別分析（QDA）における主効果および交互作用効果の同時選択を目的とした、罰則付き線形回帰手法CAP-SQDAを提案する。変換された最小二乗最適化に複合絶対罰則（CAP）を適用することで、座標降下法を用いたスパースQDA推定が可能となり、IIS-SQDA や BICに基づく手法と比較して、より優れた変数選択のスパarsityとロバストな分類精度を達成する。

ABSTRACT

Discriminant analysis is a useful classification method. Variable selection for discriminant analysis is becoming more and more im- portant in a high-dimensional setting. This paper is concerned with the binary-class problems of main and interaction effects selection for the quadratic discriminant analysis. We propose a new penalized quadratic discriminant analysis (QDA) for variable selection in binary classification. Under sparsity assumption on the relevant variables, we conduct a penalized liner regression to derive sparse QDA by plug- ging the main and interaction effects in the model. Then the QDA problem is converted to a penalized sparse ordinary least squares op- timization by using the composite absolute penalties (CAP). Coor- dinate descent algorithm is introduced to solve the convex penalized least squares. The penalized linear regression can simultaneously se- lect the main and interaction effects, and also conduct classification. Compared with the existing methods of variable selection in QDA, the extensive simulation studies and two real data analyses demon- strate that our proposed method works well and is robust in the performance of variable selection and classification.

研究の動機と目的

• 予測子の数が標本サイズを上回る高次元設定における二値QDAにおける変数選択の課題に対処すること。
• スパarsity仮定の下で、関連する主効果と交互作用効果を同時に選択する手法を開発すること。
• 従来の罰則付きQDA手法と比較して、分類精度と変数選択の効率性を向上させること。
• 非正規分布に近い設定で性能が低下する可能性がある強い正規性仮定への依存度を低減すること。

提案手法

• 複合絶対罰則（CAP）を用いて、スパースQDA問題を罰則付きスパース通常最小二乗最適化に変換する。
• 正則化を用いて、主効果と交互作用効果を同時に選択するための罰則付き線形回帰フレームワークを適用する。
• CAP正則化最小二乗形式に由来する凸最適化問題を効率的に解くために、座標降下法を用いる。
• 2段階手順を実装する：まずCAPによるモデル変換；次に、スパース係数推定のための反復的座標最適化。
• グループスパarsityを促進する複合絶対罰則を採用し、関連する場合に全般的な交互作用項を一括して選択することを奨励する。
• 選択された主効果と交互作用効果を判別式に組み込むことで、スパースQDAを導出する。分類が可能になる。

実験結果

リサーチクエスチョン

• RQ1 高次元設定下で、統一された罰則付き回帰フレームワークが、QDAにおける主効果および交互作用効果の両方の効果的選択を可能にするか？
• RQ2 提案手法の性能は、IIS-SQDA や BICに基づく手法と比較して、変数選択と分類精度の観点でどのように異なるか？
• RQ3 データが多変量正規性から逸脱する場合、CAP-SQDA手法はロバスト性を維持できるか？
• RQ4 分類精度を維持しつつ、選択された効果の数をどの程度削減できるか？
• RQ5 データ構造に応じて、スパースLDAとスパースQDAの間で適応的に選択できるか？

主な発見

• パーキンソン病データでは、100回のスプリットにおいてCAP-SQDAは平均で4.98つの効果しか選択せず、IIS-SQDAの20.94効果と比べて著しく少ない。
• 乳がんデータでは、CAP-SQDAは22.48つの総効果で誤分類率8.85を達成し、IIS-SQDA（誤分類率6.39、50.80効果）と比較して、より少ない効果数で優れた性能を示した。
• CAP-SQDAはIIS-SQDAと同等の分類精度を達成しながら、選択された効果数をほぼ半減させ、優れたスパarsityを示した。
• BICに基づく手法と比較して、変数選択のスパarsityにおいて優れた性能を示し、パーキンソン病データでは平均で4.44つの主効果と2.12つの交互作用効果しか選択しなかった。
• 両方の実データ応用において、CAP-SQDAは最も簡潔なモデルを維持しながら高い分類精度を達成しており、強力なロバスト性と効率性を示した。
• 乳がんデータにおける交互作用効果の少数選択から、スパースLDAとスパースQDAの構造の間で自動的に適応する能力を示した。