[論文レビュー] N$^3$LARS: Minimum Redundancy Maximum Relevance Feature Selection for Large and High-dimensional Data

Makoto Yamada, Avishek Saha+3 more|arXiv (Cornell University)|Nov 10, 2014

Face and Expression Recognition参考文献 31被引用数 3

ひとこと要約

本稿では、大規模で高次元のデータセットから非冗長な特徴を効率的に選択できるスケーラブルで凸な非線形特徴選択手法N³LARSを提案する。この手法は、非負の最小角回帰（NN-LARS）を、正規化されたヒルバート＝シュミット独立性基準（NHSIC）を用いて拡張することで、非線形な特徴選択を実現している。Hadoop や Spark といったマップ・リダースフレームワークを活用した分散計算が可能であり、グローバル最適性を達成し、生物学的データセットにおいて既存のフィルタベース手法を上回るAUCスコアと低減された冗長性を実現している。

ABSTRACT

We propose a feature selection method that finds non-redundant features from a large and high-dimensional data in nonlinear way. Specifically, we propose a nonlinear extension of the non-negative least-angle regression (LARS) called N${}^3$LARS, where the similarity between input and output is measured through the normalized version of the Hilbert-Schmidt Independence Criterion (HSIC). An advantage of N${}^3$LARS is that it can easily incorporate with map-reduce frameworks such as Hadoop and Spark. Thus, with the help of distributed computing, a set of features can be efficiently selected from a large and high-dimensional data. Moreover, N${}^3$LARS is a convex method and can find a global optimum solution. The effectiveness of the proposed method is first demonstrated through feature selection experiments for classification and regression with small and high-dimensional datasets. Finally, we evaluate our proposed method over a large and high-dimensional biology dataset.

研究の動機と目的

• 大規模で高次元のデータセットに対して、スケーラブルかつ非線形でフィルタベースの特徴選択手法が不足しているという問題に取り組む。
• 入力同士の関連性を組み込むことで、最大関連性（MR）に基づく手法の冗長性問題を克服する。
• 大規模な n と高次元の d のデータに効率的にスケーラブルな凸的でグローバル最適な手法を開発する。
• Hadoop や Spark といった実世界の高次元データに実用的に導入可能な分散システムへの展開を可能にする。

提案手法

• N³LARS は、非負の最小角回帰（NN-LARS）の非線形拡張であり、入力出力間の類似度を測るため、正規化されたヒルバート＝シュミット独立性基準（NHSIC）を用いる。
• 特徴選択を m ステップで逐次的に選択する凸最適化問題として定式化し、m 個の非冗長な特徴を取得する。
• LARS の正則化パスを活用することで、反復的なハイパーパramータチューニングなしに特徴の分析と選択が可能になる。
• 大規模な設定における計算コストを削減するため、Nyström 法を用いてカーネル近似を統合する。
• マップ・リダースフレームワークに適合するように設計されており、カーネル行列と LARS の反復計算を分散処理可能である。
• 入力と出力間の依存度を有界かつ解釈可能にするために、HSIC の正規化版を用いる。

実験結果

リサーチクエスチョン

• RQ1 大規模で高次元のデータに対して、非線形でフィルタベースの特徴選択手法がスケーラブルかつグローバル最適に実現可能か？
• RQ2 N³LARS は、HSIC Lasso や mRMR や線形 Lasso といった既存手法と比較して、大規模な生物学的データセットにおける精度と冗長性の面で優れているか？
• RQ3 LARS を用いた逐次的選択フレームワークは、NHSIC を用いた非線形で非冗長な特徴選択に効果的に適応可能か？
• RQ4 N³LARS の分散実装は、大規模データにおいて計算時間を顕著に短縮するか、性能を維持できるか？
• RQ5 密な高次元設定において、標準的な HSIC や相互情報量ベースの手法と比較して、NHSIC の使用が特徴選択をどのように改善するか？

主な発見

• TRIM32遺伝子発現データセットでは、N³LARS は HSIC Lasso や mRMR と同等の平均二乗誤差（MSE）を達成し、冗長度が 0.42 と、線形 Lasso（0.43）や HSIC Lasso（0.45）を上回った。
• p53突然変異体データセット（5408特徴、31,420サンプル）では、N³LARS がテストしたすべての手法の中で最高のAUCスコアを記録し、MR-NHSIC や mRMR を上回った。
• N³LARS の計算時間は、マッパー／リデューサーの数が増えるに従い顕著に短縮され、分散環境における優れたスケーラビリティを示した。
• 凸な定式化によりグローバル最適解が達成されたため、正則化パラメータを異なる値で複数回実行する必要がなく、計算の安定性が向上した。
• p53データセットでは、mRMR よりも N³LARS が優れた性能を示した。これは、mRMR における相互情報量推定が、密で高次元のデータに対して不正確である可能性を示唆している。
• N³LARS は複数回の実行においても安定したAUCおよびMSEスコアを達成しており、信頼性と一貫性の高さが裏付けられた。