[論文レビュー] Feature Selection using Stochastic Gates

Yutaro Yamada, Ofir Lindenbaum+2 more|arXiv (Cornell University)|Oct 9, 2018

Statistical Methods and Inference参考文献 70被引用数 12

ひとこと要約

本稿では、ℓ₀正則化を近似するためのベルヌーイ分布の連続的緩和としての確率的ゲート（STG）を用いた非線形モデル向けの新規埋め込み特徴選択手法を提案する。STGをニューラルネットワークの入力層に統合することで、非線形関数の学習と関連特徴の選択を同時に実行できるエンドツーエンド微分可能な学習が可能となり、合成データおよび実世界のデータセットにおいて、LASSO、HC、DNCよりも予測精度と特徴選択の一貫性に優れる。

ABSTRACT

Feature selection problems have been extensively studied for linear estimation, for instance, Lasso, but less emphasis has been placed on feature selection for non-linear functions. In this study, we propose a method for feature selection in high-dimensional non-linear function estimation problems. The new procedure is based on minimizing the $\ell_0$ norm of the vector of indicator variables that represent if a feature is selected or not. Our approach relies on the continuous relaxation of Bernoulli distributions, which allows our model to learn the parameters of the approximate Bernoulli distributions via gradient descent. This general framework simultaneously minimizes a loss function while selecting relevant features. Furthermore, we provide an information-theoretic justification of incorporating Bernoulli distribution into our approach and demonstrate the potential of the approach on synthetic and real-life applications.

研究の動機と目的

• 非線形モデル向けの効果的な埋め込み特徴選択手法の欠如、特にバイオメディカルデータに共通する高次元設定における課題を解決すること。
• ℓ₁正則化（例：LASSO）の非線形な文脈における限界、特に入力層でのスパarsity誘導に失敗し、パラメータの縮小が生じることを克服すること。
• 非線形関数の学習と最小で関連性のある特徴のサブセットの選択を同時に実行できる微分可能でエンドツーエンドのフレームワークを開発すること。
• ベルヌーイ分布の滑らかな近似を用いた確率的かつ情報理論的に正当化された特徴選択のアプローチを提供すること。
• 特徴相関や低サンプル数の状況下でも、従来の手法がしばしば失敗する状況においても、強固で一貫性のある性能を示すこと。

提案手法

• 本手法は、ベルヌーイ分布の連続的緩和として確率的ゲート（STG）を導入し、平均シフトされたガウス変数のハードシグモイド変換を用いて微分可能なバイナリゲートを生成する。
• 各入力特徴は、トレーニング可能なパラメータμ_dが制御するゲートの活性確率によって乗算され、特徴の含め方の最適化が勾配ベースで可能になる。
• ℓ₀ノルムは、活性ゲートの期待数を用いて近似され、目的関数にはスパarsityを制御する正則化パラメータλが組み込まれる。
• フレームワークは完全に微分可能であり、再パrameterizationトリックを介して確率的ゲートを介したバックプロパゲーションが可能で、モデル重みとゲートパラメータの共同最適化が可能になる。
• 本手法は回帰、分類、生存分析のタスクに適用され、確率的勾配降下法を用いてエンドツーエンドでゲートパラメータが学習される。
• STG近似は、特に相関や低サンプル条件下で、ロジスティックベースの緩和よりも一貫性があり、より正確な特徴選択を示す。

実験結果

リサーチクエスチョン

• RQ1 ℓ₀ノルムの微分可能で確率的な緩和は、ディープニューラルネットワークのような非線形モデルにおける有効な特徴選択を可能にするか？
• RQ2 提案されたSTGベースの手法は、LASSOや他の埋め込み手法と比較して、予測精度と特徴選択のスパarsityの観点でどのように差をつけるか？
• RQ3 STGフレームワークは、高次元データにおいて一般的な課題である相関特徴の存在下でも、強健性と一貫性を保つことができるか？
• RQ4 真の関連特徴数を明確に示すことができるか？特に、正しい特徴数で性能が明確なピークを示すか？
• RQ5 STGの確率的枠組みは、情報理論的に正当化された特徴選択の根拠を支持しているか？

主な発見

• 相関のある特徴を伴う線形回帰において、STGはLASSO、HC、DNCよりも少ないサンプル数で真のサポートを回復し、相関下でも優れた一貫性を示す。
• 15個の弱い関連特徴と5個の強い関連特徴を含むMADELONデータセットでは、STGは正則化パラメータλの広い範囲で精度1.0を達成し、有益な特徴のみの一貫した選択を示す。
• STGは92.4%のテスト精度を達成し、LASSO（90.1%）を上回り、HC（91.7%）と同等の性能を示しながらも、より少ない特徴を選択しており、スパarsityを伴う優れた予測性能を示す。
• STGの分類精度が、正確に5つの特徴が選択された際にピークに達する。これは、真の関連特徴数を明確に示しており、LASSO やランダムフォレストとは異なり、明確な信号を欠いている。
• 生存分析タスクにおいても、STGは高い性能とスパarsityを維持しており、標準的な分類および回帰タスクを超えた汎用性を示す。
• STGは、合成データおよび実世界の複数のデータセットにおいて、HC、LASSO、DNCを常に上回り、特に低サンプル数および高相関状態下で顕著な優位性を示す。