[論文レビュー] Approximate False Positive Rate Control in Selection Frequency for Random Forest

Ender Konukoğlu, Melanie Ganz|arXiv (Cornell University)|Oct 10, 2014

Neural Networks and Applications参考文献 20被引用数 8

ひとこと要約

本論文は、選択頻度分布のモデリングを通じて、ランダムフォレスト特徴選択における誤検出率を原理的かつ計算コストが低い方法で制御する手法を提案する。研究者が追加の計算を要せず、望みのレベルまで誤検出率を制限できる閾値を設定可能となり、神経画像解析やバイオインフォマティクス応用分野における信頼性が著しく向上する。

ABSTRACT

Random Forest has become one of the most popular tools for feature selection. Its ability to deal with high-dimensional data makes this algorithm especially useful for studies in neuroimaging and bioinformatics. Despite its popularity and wide use, feature selection in Random Forest still lacks a crucial ingredient: false positive rate control. To date there is no efficient, principled and computationally light-weight solution to this shortcoming. As a result, researchers using Random Forest for feature selection have to resort to using heuristically set thresholds on feature rankings. This article builds an approximate probabilistic model for the feature selection process in random forest training, which allows us to compute an estimated false positive rate for a given threshold on selection frequency. Hence, it presents a principled way to determine thresholds for the selection of relevant features without any additional computational load. Experimental analysis with synthetic data demonstrates that the proposed approach can limit false positive rates on the order of the desired values and keep false negative rates low. Results show that this holds even in the presence of a complex correlation structure between features. Its good statistical properties and light-weight computational needs make this approach widely applicable to feature selection for a wide-range of applications.

研究の動機と目的

• 高次元データ解析において深刻な欠落であるランダムフォレスト特徴選択における誤検出率制御の不足を是正すること。
• 特徴重要度ランク付けにヒューリスティックな閾値に依存することによる解釈可能性と信頼性の低下を是正すること。
• 計算コストを増加させることなく、与えられた選択頻度閾値における誤検出率を推定する手法を開発すること。
• ラッパー法やスタビリティ選択に適した原理的閾値選択を可能とし、特徴選択の効率性と正確性を向上させること。
• 複雑な特徴相関構造下でも低誤陰性率を維持し、実際に関連のある特徴への感受性を保つこと。

提案手法

• ランダムフォレスト学習における選択頻度の近似確率的モデルを提案し、特徴の含め方をベルヌーイ過程として扱う。
• 帰無仮説（つまり、無関係な特徴の場合）における選択頻度の分布をベータ・二項分布近似でモデル化する。
• 帰無仮説下での選択頻度の累積分布を統合し、特定の閾値における誤検出数の期待値を推定する。
• ユーザー指定の誤検出率（例：0.05 または 0.10）に対応する閾値をモデルで計算し、統計的制御を可能にする。
• 最小限のオーバーヘッドで既存のワークフローに統合可能であり、リアルタイムまたは反復的特徴選択パイプラインに適している。
• 制御された相関構造と異なる数の無関係特徴を有する合成データを用いて、モデルの正確性を検証する。

実験結果

リサーチクエスチョン

• RQ1 原理的で近似可能なモデルは、ランダムフォレスト特徴選択における特定の選択頻度閾値に対する誤検出率を推定できるか？
• RQ2 異なる特徴相関レベルおよび高次元設定下で、提案手法は誤検出率をどれほど正確に制御できるか？
• RQ3 望みの誤検出率制御を達成しながら、誤陰性率を低く維持できるか？
• RQ4 前向きまたは後向き選択などのラッパー法に、顕著な計算コストを増加させることなく効率的に統合できるか？
• RQ5 複雑な特徴間の依存構造を有する現実的なデータ条件下で、モデルはどの程度の性能を示すか？

主な発見

• 提案手法は、複数の合成データセットにおいて、望みの閾値レベル（例：0.05 または 0.10）内に誤検出率を制限することに成功した。
• 誤陰性率は低く保たれ、複雑な相関構造下でも実際に関連のある特徴への感受性が強く保たれている。
• 計算コストの増加が最小限であるため、反復的特徴選択ワークフローへの統合に適しており、誤検出率推定の正確性を達成している。
• 特徴相関に対してモデルの性能が頑健であり、特徴が依存関係にあっても誤検出率の制御が維持されている。
• ヒューリスティックに依存せず、原理的閾値選択を可能とし、特徴選択結果の解釈可能性と信頼性が向上した。
• 神経画像解析のように特徴空間が広く、オンザフライでサンプリングが行われるような高次元問題にも直接適用可能である。