[論文レビュー] Random projection ensemble classification

Timothy I. Cannings, Richard J. Samworth|arXiv (Cornell University)|Apr 17, 2015

Face and Expression Recognition参考文献 30被引用数 7

ひとこと要約

本稿では、複数のデータのランダムプロジェクションからの予測を組み合わせることで高次元分類を改善するランダムプロジェクションアンサンブル分類器を提案する。グループ化されたサブセット内での最良のプロジェクションを選択し、データ駆動型の投票閾値を用いる。この手法は、十分な次元削減条件の下で、より多くのプロジェクションが増えるにつれて減少する低テスト過剰リスクを達成し、有限サンプルのシミュレーションにおいて既存の分類器を上回る性能を示す。

ABSTRACT

We introduce a very general method for high-dimensional classification, based on careful combination of the results of applying an arbitrary base classifier to random projections of the feature vectors into a lower-dimensional space. In one special case that we study in detail, the random projections are divided into disjoint groups, and within each group we select the projection yielding the smallest estimate of the test error. Our random projection ensemble classifier then aggregates the results of applying the base classifier on the selected projections, with a data-driven voting threshold to determine the final assignment. Our theoretical results elucidate the effect on performance of increasing the number of projections. Moreover, under a boundary condition implied by the sufficient dimension reduction assumption, we show that the test excess risk of the random projection ensemble classifier can be controlled by terms that do not depend on the original data dimension and a term that becomes negligible as the number of projections increases. The classifier is also compared empirically with several other popular high-dimensional classifiers via an extensive simulation study, which reveals its excellent finite-sample performance.

研究の動機と目的

• p ≥ n のような高次元設定において、LDA などの古典的分類器の性能が低い問題に対処する。
• ランダムプロジェクションを用いてデータを低次元空間に投影することで、次元の呪いを克服する。
• 情報的なプロジェクションを選択し、投票閾値を最適化することで分類精度を向上させる、頑健なアンサンブル手法を開発する。
• 理論的分析では、テスト過剰リスクを制御し、プロジェクション数の増加に伴い最適性能に収束することを示す。

提案手法

• ノイズを低減し、クラス構造を保持するために、ランダムプロジェクションを互いに素なグループに分割する。
• 各グループ内で、交差検証または類似手法を用いて最小の推定テスト誤差を達成するプロジェクションを選択する。
• 各選択されたプロジェクションに、ベース分類器（例：LDA、QDA、k-NN）を適用する。
• 単純な過半数投票ではなく、テスト誤差を最小化するデータ駆動型投票閾値を用いて結果を統合する。
• 無限シミュレーション版の分類器を用い、経験的リスク最小化により最適な投票閾値を推定する。
• このフレームワークはベース分類器に依存しないため、低次元手法を高次元問題に拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 ランダムプロジェクションと選択的集約を組み合わせることで、高次元設定における分類性能が向上するか？
• RQ2 ランダムプロジェクションの数を増やすと、アンサンブル分類器のテスト過剰リスクにどのような影響を与えるか？
• RQ3 データ駆動型投票閾値は、単純な過半数投票を上回る性能を示すか？
• RQ4 どのような理論的条件下で、テスト過剰リスクを元のデータ次元に依存せずに制御できるか？
• RQ5 有限サンプル設定において、既存の高次元分類器と比較して、実験的にどのように性能を発揮するか？

主な発見

• ランダムプロジェクションアンサンブル分類器のテスト過剰リスクは、元のデータ次元に依存しない項と、プロジェクション数の増加に伴い減少する項によって制御される。
• 十分な次元削減仮定の下では、この分類器は高次元領域でも漸近的に低い過剰リスクを達成する。
• 実験的結果から、この手法は有限サンプルのシミュレーションにおいて、いくつかの一般的な高次元分類器を上回るか、同等の性能を示す。
• データ駆動型投票閾値は、固定された過半数投票よりも顕著に性能を向上させ、特に複雑な意思決定境界の設定で顕著である。
• わずかに一部の特徴量が関連している場合でも、この手法は有効であり、非線形意思決定境界下でも良好に機能する。
• Rパッケージ RPEnsemble がこの手法を実装しており、多様な分類問題への実用的応用を可能にしている。