[論文レビュー] High-Dimensional Feature Selection by Feature-Wise Non-Linear Lasso

Makoto Yamada, Wittawat Jitkrittum+2 more|arXiv (Cornell University)|Feb 2, 2012

Statistical Methods and Inference被引用数 12

ひとこと要約

この論文は、カーネルベースの独立性測度を用いて入力と出力の間の非線形依存関係を捉えることで、高次元特徴選択のための特徴別カーネル化Lasso法を提案する。グローバルに最適な解を効率的に計算可能であるため、数千の特徴にまでスケーリング可能であり、重複のない強力な依存関係を持つ特徴を特定する。

ABSTRACT

The goal of supervised feature selection is to find a subset of input features that are responsible for predicting output values. The least absolute shrinkage and selection operator (Lasso) allows computationally efficient feature selection based on linear dependency between input features and output values. In this paper, we consider a feature-wise kernelized Lasso for capturing non-linear input-output dependency. We first show that, with particular choices of kernel functions, non-redundant features with strong statistical dependence on output values can be found in terms of kernel-based independence measures. We then show that the globally optimal solution can be efficiently computed; this makes the approach scalable to high-dimensional problems. The effectiveness of the proposed method is demonstrated through feature selection experiments with thousands of features.

研究の動機と目的

• 従来のLassoが入力特徴と出力変数の間の非線形関係を捉えられないという限界に対処すること。
• グローバル最適性を保ちつつ、高次元特徴選択において計算効率の良い手法を開発すること。
• カーネルベースの独立性測度を用いて、重複のない強力な統計的依存関係を持つ特徴を同定すること。
• Lassoの適用範囲を線形モデルにとどまらず、非線形かつ高次元の設定にまで拡張すること。

提案手法

• 非線形依存関係をカーネル関数を用いてモデル化する特徴別カーネル化Lassoの定式化を提案する。
• 出力に対する強い統計的依存関係を持つ特徴を同定するために、カーネルベースの独立性測度を用いる。
• 非冗長かつ高い関連性を持つ特徴の選択を保証する特定のカーネル関数の選択を採用する。
• グローバルに最適な解を効率的に計算可能な最適化アルゴリズムを導出する。
• 各特徴をそのカーネル由来の関連性に基づいて個別にペナルティ付ける特徴別スhrinkageアプローチを適用する。
• 非線形変換に対してもグローバル最適解への収束を保証するため、凸最適化技術を活用する。

実験結果

リサーチクエスチョン

• RQ1 カーネル化Lassoは、高次元設定下で入力特徴と出力変数の間の非線形依存関係を効果的に同定できるか？
• RQ2 提案手法は、大規模問題においても計算効率を保ちながらグローバル最適性を達成できるか？
• RQ3 カーネルベースの独立性測度は、線形手法と比較して、非冗長かつ高関連性の高い特徴をどれほどうまく選択できるか？
• RQ4 解の品質を損なうことなく、数千の特徴を含むデータセットに対しても、この手法はどの程度スケーリング可能か？

主な発見

• 提案手法は、カーネルベースの独立性測度を用いて、出力に対して強い統計的依存関係を持つ非冗長な特徴を効果的に同定した。
• グローバルに最適な解は、効率的に計算可能であり、数千の特徴を含む高次元データセットへのスケーリングを可能にした。
• 線形Lassoと比較して、非線形な入出力関係を捉える能力に優れ、線形モデルが見逃す関係を特定できた。
• 実験的評価により、高次元データを含む特徴選択タスクにおいて、本手法の有効性が裏付けられた。