[論文レビュー] Nonparametric Feature Selection by Random Forests and Deep Neural Networks

Xiaojun Mao, Liuhua Peng+1 more|arXiv (Cornell University)|Jan 18, 2022

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、カーネルに基づく2標本検定を用いてランダムフォレストとディープニューラルネットワークを統合することで、関連する特徴を同定する非パラメトリック特徴選択手法NFSRDを提案する。従来の手法と比較して、特徴検出性能、誤検出制御、計算効率の面で優れた性能を発揮し、正則性条件の下で理論的保証を有する。

ABSTRACT

Random forests are a widely used machine learning algorithm, but their computational efficiency is undermined when applied to large-scale datasets with numerous instances and useless features. Herein, we propose a nonparametric feature selection algorithm that incorporates random forests and deep neural networks, and its theoretical properties are also investigated under regularity conditions. Using different synthetic models and a real-world example, we demonstrate the advantage of the proposed algorithm over other alternatives in terms of identifying useful features, avoiding useless ones, and the computation efficiency. Although the algorithm is proposed using standard random forests, it can be widely adapted to other machine learning algorithms, as long as features can be sorted accordingly.

研究の動機と目的

• 多くの無関係な特徴を含む高次元データセットにおけるランダムフォレストの計算非効率性を解消すること。
• 木の分割に関する強い仮定を必要とせず、理論的裏付けのある非パラメトリックな特徴選択手法の開発。
• 非パラメトリックな2標本検定を用いてディープニューラルネットワークとランダムフォレストを統合することで、特徴選択の精度を向上させること。
• サブサンプリングを活用することで計算効率を高めつつ、選択精度を維持すること。
• 標準的なランダムフォレストを超えた他の機械学習アルゴリズムへも適用可能な汎用的フレームワークの提供。

提案手法

• 本手法は、応答クラス間の特徴分布を比較することで、特徴の関連性を評価する非パラメトリック2標本検定をディープニューラルネットワークを用いて実行する。
• 再生核ヒルバート空間（RKHS）における最大平均差（MMD）を用いて、パラメトリックな仮定を必要とせずに分布の差を測定する。
• MMD統計量を用いた有意性検定により特徴選択を実施し、帰無仮説（差なし）の下でp値を計算する。
• 計算コストを低減するためサブサンプリングを採用し、大規模データセットへのスケーラビリティを向上させつつ、統計的パワーを維持する。
• 従来の手法（例：最小深さ選択）とは異なり、中央値に基づく分割や木構造に関する強い仮定を必要としない。
• 正則性条件の下で、特徴選択の一貫性および検定統計量の漸近正規性といった理論的性質を確立する。

Figure 1: Boxplots for the computation time of different methods based on 200 Monte Carlo simulations, where the features are independently generated. The horizontal segments within the boxplots represent the median computation time. “BRT” represent Boruta, “MVS” stands for the minimum-depth variabl

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワークとランダムフォレストを組み合わせた非パラメトリック特徴選択手法は、従来のパーミュテーションベースおよび深さベースの手法を上回る性能を示せるか？
• RQ2 提案手法NFSRDは、合成データおよび実世界のデータセットにおいて、誤発見率と真正陽性検出率の観点でどの程度の性能を示すか？
• RQ3 サブサンプリングは、特徴選択の正確性を損なうことなく、計算効率をどの程度向上させるか？
• RQ4 正則性条件の下で、提案手法の理論的性質（特に一貫性および漸近分布）はどのようなものか？
• RQ5 このフレームワークは、標準的なランダムフォレストを超えた他の機械学習アルゴリズムへ一般化可能か？

主な発見

• NFSRDは、多くの無関係な特徴を含む高次元設定において、有用な特徴を顕著に優れた性能で検出するとともに、不要な特徴を回避する。
• 超伝導性データセットでは、α=0.01で13の特徴、α=0.05で10の特徴が選択され、XGBoostが特定した上位20個の重要特徴に含まれていた。一方、BRTは有意性に関係なくすべての特徴を選択した。
• サブサンプリングにより計算コストとメモリ使用量が削減されたが、高い正確性を維持したため、大規模データセットへのスケーラビリティが確保された。
• 理論的分析により、特徴選択手順の一貫性および正則性条件の下でのMMD検定統計量の漸近正規性が確認された。
• 特徴相関に対してもロバストであり、最小深さベースのアプローチとは異なり、分割に関する強い仮定を必要としない。
• NFSRDフレームワークは汎用的であり、特徴の順序付けやソーティングが可能な限り、他の機械学習アルゴリズムへも適応可能である。