[論文レビュー] A ROAD to Classification in High Dimensional Space

Jianqing Fan, Yang Feng+1 more|arXiv (Cornell University)|Nov 28, 2010

Face and Expression Recognition参考文献 32被引用数 13

ひとこと要約

本稿では、分散構造を活用して独立性ルールを上回る精度を実現するとともに、ノイズの蓄積や発散スペクトルを回避する高次元分類のための正則化最適アフィン判別（ROAD）を提案する。ROADは特徴選択を段階的に適応的に行う正則化パスを用い、制約付き座標降下（CCD）アルゴリズムと、解のパスの連続性およびオラクルに類似たサンプリング特性に関する理論的保証を備えている。

ABSTRACT

For high-dimensional classification, it is well known that naively performing the Fisher discriminant rule leads to poor results due to diverging spectra and noise accumulation. Therefore, researchers proposed independence rules to circumvent the diverse spectra, and sparse independence rules to mitigate the issue of noise accumulation. However, in biological applications, there are often a group of correlated genes responsible for clinical outcomes, and the use of the covariance information can significantly reduce misclassification rates. The extent of such error rate reductions is unveiled by comparing the misclassification rates of the Fisher discriminant rule and the independence rule. To materialize the gain based on finite samples, a Regularized Optimal Affine Discriminant (ROAD) is proposed based on a covariance penalty. ROAD selects an increasing number of features as the penalization relaxes. Further benefits can be achieved when a screening method is employed to narrow the feature pool before hitting the ROAD. An efficient Constrained Coordinate Descent algorithm (CCD) is also developed to solve the associated optimization problems. Sampling properties of oracle type are established. Simulation studies and real data analysis support our theoretical results and demonstrate the advantages of the new classification procedure under a variety of correlation structures. A delicate result on continuous piecewise linear solution path for the ROAD optimization problem at the population level justifies the linear interpolation of the CCD algorithm.

研究の動機と目的

• 発散スペクトルとノイズの蓄積のため、高次元設定においてナイーブなフィッシャー判別ルールが性能を発揮できない問題に対処すること。
• 推定の不安定性に苦しまずに、高次元分類において分散構造を組み込む方法を開発すること。
• 独立性ルールを上回る分類精度を向上させる正則化および適応的特徴選択手順を提案すること。
• ROAD推定量の理論的性質を確立すること、特に解のパスの連続性およびオラクルに類似したサンプリング行動。
• ROAD最適化問題を解くための効率的な計算アルゴリズム（CCD）を提供すること。

提案手法

• フィッシャー判別法の正則化版として、正則化最適アフィン判別（ROAD）を提案し、重みベクトルのノルムの二乗を最小化するが、判別方向に制約を課す。
• 正則化パラメータを緩和するに従い、選択される特徴数を増やす正則化パスを用い、適応的特徴選択を可能にする。
• ROADに関連する非滑らかで非凸な最適化問題を効率的に解くために、制約付き座標降下（CCD）アルゴリズムを採用する。
• 母集団レベルで、ROAD推定量の連続的かつ区分的線形な解のパスを導出し、CCDアルゴリズムにおける線形補間の妥当性を裏付ける。
• ROADを適用する前段階で特徴プールを縮小するスクリーニング手法を導入し、計算効率と統計的性能を向上させる。
• ROADの理論的サンプリング特性を確立し、誤分類率の観点で、真の関連特徴が事前に分かっているかのように性能を発揮することを示す。

実験結果

リサーチクエスチョン

• RQ1 正則化判別法は、発散スペクトルやノイズの蓄積に苦しまずに、高次元分類において分散構造を効果的に組み込むことができるか？
• RQ2 特徴が相関している場合に、正則化を緩和するに従い、関連する特徴を適応的に含める特徴選択手順はどのように設計できるか？
• RQ3 ROAD最適化問題の解のパスの理論的挙動は何か？ また、線形補間によって信頼性高く近似可能か？
• RQ4 さまざまな相関構造下で、ROADの誤分類率は独立性ルール（例：FAIR）と比較してどの程度優れているか？
• RQ5 ROADの前段階でスクリーニングステップを導入することで、高次元設定における計算効率と分類精度の両方を向上させられるか？

主な発見

• ROADは、特に遺伝子や特徴が相関している場合に、真の分散構造を活用することで、独立性ルールよりも誤分類率を顕著に低減する。
• ROAD推定量の解のパスは母集団レベルで連続的かつ区分的線形であるため、CCDアルゴリズムにおける線形補間の使用が正当化される。
• 制約付き座標降下（CCD）アルゴリズムは、強い理論的収束保証とともに、ROADの解のパスを効率的に計算する。
• 理論的解析により、ROADがオラクルに類似たサンプリング特性を達成することが示され、すなわち、真の関連特徴が事前に分かっているかのように性能を発揮することが確認された。
• シミュレーションスタディおよび実データ解析により、ROADがナイーブなフィッシャー判別法および独立性ルールを、多様な相関構造において上回ることが確認された。
• 特徴スクリーニングとROADの組み合わせにより、高次元設定において計算速度と分類精度の両面で顕著な向上が得られた。