[論文レビュー] Deep Feature Screening: Feature Selection for Ultra High-Dimensional Data via Deep Neural Networks

Kexuan Li, Fangfang Wang+2 more|arXiv (Cornell University)|Apr 4, 2022

Face and Expression Recognition被引用数 8

ひとこと要約

本稿では、深層自己符号化器を用いた表現学習と多次元順位距離相関を組み合わせることで、超高次元・小標本サイズのデータに対してモデルフリーな2段階手法であるDeep Feature Screening（DeepFS）を提案する。DeepFSは、多様なデータセットにおいて分類および再構成の両タスクで既存手法を上回る優れた特徴選択精度と再構成性能を達成しており、ハイパーパrameterの選択に対して頑健である。

ABSTRACT

The applications of traditional statistical feature selection methods to high-dimension, low sample-size data often struggle and encounter challenging problems, such as overfitting, curse of dimensionality, computational infeasibility, and strong model assumption. In this paper, we propose a novel two-step nonparametric approach called Deep Feature Screening (DeepFS) that can overcome these problems and identify significant features with high precision for ultra high-dimensional, low-sample-size data. This approach first extracts a low-dimensional representation of input data and then applies feature screening based on multivariate rank distance correlation recently developed by Deb and Sen (2021). This approach combines the strengths of both deep neural networks and feature screening, and thereby has the following appealing features in addition to its ability of handling ultra high-dimensional data with small number of samples: (1) it is model free and distribution free; (2) it can be used for both supervised and unsupervised feature selection; and (3) it is capable of recovering the original input data. The superiority of DeepFS is demonstrated via extensive simulation studies and real data analyses.

研究の動機と目的

• 過学習、計算不能性、強いパラメトリックな仮定といった、従来の特徴選択手法が超高次元・小標本サイズデータにおいて抱える限界を克服すること。
• 非線形関係や特徴間の相互作用を捉えることができ、パラメトリックな仮定に依存しないモデルフリーかつ分布フリーなアプローチを開発すること。
• 統合されたフレームワーク内で教師ありおよび教師なしの特徴選択を可能にすること。
• 選択された特徴から元の入力データを再構成でき、データの忠実性を保つこと。
• 実世界の応用、例えば遺伝学やバイオメディカルデータ解析に適した、スケーラブルで最小限のチューニングで運用可能なソリューションを提供すること。

提案手法

• 高次元入力データから低次元の潜在表現を抽出するために、深層自己符号化器（または教師あり自己符号化器）を用いる。
• 各元の特徴と符号化された表現との間の多次元順位距離相関を計算して、特徴の重要度を評価する。
• 順位距離相関スコアが最も高い特徴を、最も情報量の多い特徴として選択する。
• 元の入力空間そのもので特徴選択を実施することで、解釈可能性とデータ再構成能力を維持する。
• 選択された特徴上で分類および再構成性能を評価するために、ReLU活性化関数を用いた1層のフィードフォワードニューラルネットワークを用いる。
• 潜在次元 $ h $ における感度分析を実施し、ハイパーパrameter選択に対する本手法の頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークを用いた特徴抽出と非パラメトリックなスクリーニングを組み合わせることで、超高次元・小標本サイズデータにおける特徴選択が向上するか？
• RQ2 DeepFSは、古典的手法および深層学習ベースの特徴選択手法と比較して、分類精度および再構成誤差の面でどのように差をつけるか？
• RQ3 DeepFSは、自己符号化器の潜在次元 $ h $ の変化に対してどの程度頑健か？
• RQ4 DeepFSは、特定のパラメトリックモデルを仮定せずに、教師ありおよび教師なしの両方の特徴選択を効果的に行えるか？
• RQ5 DeepFSは、選択された特徴から元のデータを再構成する能力を保持しているか？その影響は性能にどのように現れるか？

主な発見

• DeepFSは、すべての4つの実世界データセットにおいて、古典的手法（例：ISIS、PLasso）および深層学習ベースの代替手法（例：FsNet、LassoNet）を常に上回る分類精度を達成しており、特に選択された特徴数 $ k $ が小さい場合に顕著である。
• DeepFSは、すべてのデータセットで最小の再構成誤差を達成しており、選択された特徴を用いてもデータ構造を強く保持できることを示している。
• 潜在次元 $ h $ の選択に対して高い頑健性を示しており、$ h = 5, 10, 15 $ の場合の分類精度曲線は、$ k $ の値に関わらずほとんど区別がつかない。
• DeepFSは、教師ありおよび教師なしの両設定で高い性能を維持しており、多様な学習シナリオにおける汎用性を確認している。
• 多次元順位距離相関の使用により、特徴間の非線形的および相互作用的効果の効果的な検出が可能となり、選択精度が向上している。
• DeepFSは、わずか数個の特徴のサブセットのみを用いても、元のデータを正確に再構成可能であり、これは後続の解析および解釈可能性にとって極めて重要である。