[論文レビュー] On Supervised Feature Selection from High Dimensional Feature Spaces

Yijing Yang, Wei Wang+2 more|arXiv (Cornell University)|Mar 22, 2022

Face and Expression Recognition被引用数 4

ひとこと要約

本稿では、高次元空間における教師あり特徴選択のための判別特徴検定（DFT）と関連特徴検定（RFT）を提案する。DFTは重み付きエントロピーを、RFTは重み付き平均二乗誤差（MSE）を用いて特徴をランク付けする。MNISTおよびFashion-MNISTにおけるLeNet-5特徴量を用いた実験では、DFTおよびRFTは分類および回帰性能をほぼ最適に維持しつつ、顕著に次元が低い堅牢な特徴部分空間を達成する。

ABSTRACT

The application of machine learning to image and video data often yields a high dimensional feature space. Effective feature selection techniques identify a discriminant feature subspace that lowers computational and modeling costs with little performance degradation. A novel supervised feature selection methodology is proposed for machine learning decisions in this work. The resulting tests are called the discriminant feature test (DFT) and the relevant feature test (RFT) for the classification and regression problems, respectively. The DFT and RFT procedures are described in detail. Furthermore, we compare the effectiveness of DFT and RFT with several classic feature selection methods. To this end, we use deep features obtained by LeNet-5 for MNIST and Fashion-MNIST datasets as illustrative examples. Other datasets with handcrafted and gene expressions features are also included for performance evaluation. It is shown by experimental results that DFT and RFT can select a lower dimensional feature subspace distinctly and robustly while maintaining high decision performance.

研究の動機と目的

• 機械学習における次元の呪いを克服するため、高次元入力から判別力のあるおよび関連性のある特徴部分空間を同定すること。
• 反復的モデル学習を伴わず、計算が効率的なフィルタベースの特徴選択手法を開発し、従来の手法を上回る低次元で高性能な特徴部分集合を選択すること。
• 深層特徴量を用いた画像データセットにおける、提案手法の堅牢性および有効性を評価すること。
• DFTおよびRFTが特徴重要度曲線に明確な「へこみ（エルボー）」点を示すことを実証し、信頼性のある次元削減が可能であることを示すこと。

提案手法

• DFTは、分類タスクにおける特徴の判別力を測る重み付きエントロピーを用い、クラス分離能に基づいて特徴をランク付けする。
• RFTは、回帰ターゲットに対する特徴の関連性を評価する重み付き平均二乗誤差（MSE）を用い、回帰タスクの特徴ランク付けを可能にする。
• これらの手法はフィルタベースであり、学習アルゴリズムに依存せず、反復的なモデル学習を経ずに特徴をスコア化する。
• 特徴選択は、DFT/RFTスコア曲線の「エルボー」点を特定することで実施され、次元削減と性能の最適なトレードオフが得られる。
• LeNet-5の深層特徴量をMNISTおよびFashion-MNISTに適用し、PCA前処理のアブレーションおよびノイズ耐性の評価を実施する。
• 分類精度および回帰MSEを用いて、分散、相関係数、XGBoost特徴重要度（FI）と比較して性能をベンチマークする。

実験結果

リサーチクエスチョン

• RQ1 DFTおよびRFTは、高次元画像データにおいて、高い分類性能を維持する低次元特徴部分空間を同定できるか？
• RQ2 分散、相関係数、XGBoost特徴重要度と比較して、DFT/RFTスコア曲線のエルボー点は、信頼性および明確さの点で優れているか？
• RQ3 DFTおよびRFTは、画像分類および回帰の特徴選択において、ノイズのある入力データに対してもどれほど耐性があるか？
• RQ4 PCA前処理は、DFTおよびRFTによる特徴の分布および選択にどのような影響を与えるか？

主な発見

• 分散、相関係数、XGBoost特徴重要度と比較して、DFTおよびRFTは特徴重要度曲線により明確で信頼性の高いエルボー点を生成し、次元削減の意思決定が明確になる。
• MNISTおよびFashion-MNISTでは、RFTを用いることで、特徴の25〜37.5％の使用で、全特徴量を使用した場合の回帰MSEの20〜30％以内に収束し、高い効率性を示す。
• 100次元の特徴量を使用した場合、RFTはMNISTで0.91、Fashion-MNISTで1.48の回帰MSEを、後期のエルボー点で達成し、分散および相関係数ベースの手法を上回る。
• PCAを適用した場合、DFTで選択された特徴部分集合は、最初の20〜50個の主成分に集中しており、主要な分散方向と整合性が高いことが示された。
• DFTおよびRFTはノイズのある入力に対しても高い性能を維持しており、特徴選択におけるデータ汚損への耐性があることが示された。
• 提案手法は、ベースライン手法と比較して顕著に次元が低い特徴部分空間を達成しつつ、ほぼ最適な性能を維持しているため、高次元環境下での有効性が確認された。