[論文レビュー] RaSE: Random Subspace Ensemble Classification

Ye Tian, Yang Feng|arXiv (Cornell University)|Jun 16, 2020

Face and Expression Recognition参考文献 53被引用数 4

ひとこと要約

本稿では、重み付きKullback-Leibler発散に基づく新しい比率情報基準（RIC）を用いて最適な部分空間を選択する、高次元スパース分類のための新規アンサンブル分類フレームワークRaSEを提案する。この手法は、反復的に部分空間選択を改善することで分類精度と特徴選択を向上させ、限られたランダム部分空間でも理論的整合性と低誤分類率を達成する。

ABSTRACT

We propose a flexible ensemble classification framework, Random Subspace Ensemble (RaSE), for sparse classification. In the RaSE algorithm, we aggregate many weak learners, where each weak learner is a base classifier trained in a subspace optimally selected from a collection of random subspaces. To conduct subspace selection, we propose a new criterion, ratio information criterion (RIC), based on weighted Kullback-Leibler divergence. The theoretical analysis includes the risk and Monte-Carlo variance of the RaSE classifier, establishing the screening consistency and weak consistency of RIC, and providing an upper bound for the misclassification rate of the RaSE classifier. In addition, we show that in a high-dimensional framework, the number of random subspaces needs to be very large to guarantee that a subspace covering signals is selected. Therefore, we propose an iterative version of the RaSE algorithm and prove that under some specific conditions, a smaller number of generated random subspaces are needed to find a desirable subspace through iteration. An array of simulations under various models and real-data applications demonstrate the effectiveness and robustness of the RaSE classifier and its iterative version in terms of low misclassification rate and accurate feature ranking. The RaSE algorithm is implemented in the R package RaSEn on CRAN.

研究の動機と目的

• 多数の特徴が不要な高次元データにおけるスパース分類の課題に対処すること。
• すべてのランダム部分空間を無差別に集約するのを避ける理論的根拠に基づいたアンサンブル手法を開発すること。
• 新しい情報基準を最適化することで、部分空間選択を改善し、正確な特徴順位付けと選択を可能にすること。
• 反復的改善プロセスを導入することで、必要なランダム部分空間の数を削減し、時間の経過とともに部分空間の質を向上させること。
• RaSE分類器の誤分類率に対する理論的整合性および上界を確立すること。

提案手法

• RaSEフレームワークは、ランダムに生成された部分空間上でベース分類器を訓練するが、各部分空間グループ内で最も性能が良いものだけを保持する。
• クラス条件付き密度間の重み付きKullback-Leibler発散に基づき、部分空間の評価と最適選択を目的とした新しい情報基準、比率情報基準（RIC）を提案する。
• 部分空間選択は反復的に行われる：各反復で分類性能に基づいて特徴の重みが更新され、重要度が高くなる特徴の確率が高くなるように新しい部分空間がサンプリングされる。
• 反復的プロセスにより、真の信号集合 $ S^* $ を含む部分空間を効率的に選択する可能性が向上し、非反復的手法と比較して必要な部分空間数が削減される。
• 理論的分析により、RICのスクリーニング整合性および弱い整合性が確立され、誤分類率に対する上界が導出される。
• アルゴリズムはCRANに登録されたRパッケージRaSEnとして実装され、高次元分類タスクにおける実用的利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ランダム部分空間アンサンブル手法は、高次元スパース分類設定において理論的整合性を達成できるか？
• RQ2 提案された比率情報基準（RIC）は、すべてのランダム部分空間を無差別に集約する手法よりも優れた部分空間選択を実現するか？
• RQ3 反復的部分空間選択手順により、分類性能を維持または向上させながら必要なランダム部分空間数を著しく削減できるか？
• RQ4 RaSEは、高次元データにおける既存のアンサンブル手法と比較して、特徴順位付けの正確さと誤分類率において優れた性能を示すか？
• RQ5 RaSE分類器の誤分類率および部分空間選択の整合性について、どのような理論的保証を確立できるか？

主な発見

• 提案されたRIC基準の下で、RaSE分類器はスクリーニング整合性および弱い整合性を達成し、真の信号集合 $ S^* $ が漸近的に回復されることを保証する。
• 誤分類率に対する理論的上界が導出され、RaSEが高次元設定でも低誤差率を維持することを示している。
• 反復的バージョンのRaSEは、特徴重要度の推定を段階的に改善することで、$ S^* $ を含む部分空間を見つけるために必要なランダム部分空間数を削減する。
• シミュレーションおよび実データ応用の両方で、RaSEは多様なモデルやデータ構造において低誤分類率と正確な特徴順位付けを達成することが示された。
• 部分空間に真の信号集合 $ S^* $ が含まれる確率は反復回数およびアンサンブルサイズに応じて上昇し、$ n, B_1, B_2 o iginfty $ のとき、その上限は1に収束する。
• RパッケージRaSEnはCRANに登録されており、実世界の高次元分類タスクにおけるRaSEフレームワークの実用的導入を可能にする。