[論文レビュー] Deep supervised feature selection using Stochastic Gates.

Yutaro Yamada, Ofir Lindenbaum+2 more|arXiv (Cornell University)|Oct 9, 2018

Statistical Methods and Inference参考文献 37被引用数 1

ひとこと要約

本稿では、確率的ゲートを用いた深層教師あり特徴選択法を提案する。この手法により、非線形関数のエンドツーエンド学習が可能となり、関連する特徴の選択も行える。$β$-ベルヌーイ分布の連続的リラクゼーションにより、微分可能ゲートを通じて勾配ベース最適化が可能となり、理論的・実験的裏付けのもと、高次元の非線形設定において効果的な$β$-ノルム最小化が達成される。

ABSTRACT

Feature selection problems have been extensively studied for linear estimation, for instance, Lasso, but less emphasis has been placed on feature selection for non-linear functions. In this study, we propose a method for feature selection in high-dimensional non-linear function estimation problems. The new procedure is based on minimizing the $\ell_0$ norm of the vector of indicator variables that represent if a feature is selected or not. Our approach relies on the continuous relaxation of Bernoulli distributions, which allows our model to learn the parameters of the approximate Bernoulli distributions via gradient descent. This general framework simultaneously minimizes a loss function while selecting relevant features. Furthermore, we provide an information-theoretic justification of incorporating Bernoulli distribution into our approach and demonstrate the potential of the approach on synthetic and real-life applications.

研究の動機と目的

• 高次元の非線形関数推定における有効な特徴選択手法の不足、特にラッソのような線形モデルを超える分野における課題に対処する。
• 非線形設定において、モデル損失と特徴選択を同時に最適化できる微分可能でエンドツーエンドのフレームワークを構築する。
• 特徴の含め方を示すインジケータ変数の連続的リラクゼーションを通じて、特徴の重要度の学習を可能にする。
• 情報理論的根拠を用いてベルヌーイ分布を特徴選択に用いることの理論的基盤を提供する。

提案手法

• 各特徴が選択されているかどうかを示すインジケータ変数の$β$-ノルムの最小化として特徴選択を定式化する。
• インジケータ変数の微分可能性を確保するため、ベルヌーイ分布の連続的リラクゼーションを用いる。
• 各特徴の含め方の確率を、確率的ゲート機構によってパrameter化された学習可能なゲートパラメータでモデル化する。
• 再パrameter化トリックを用いて、確率的ゲートを通じてバックプロパゲーションを実行し、モデルをエンドツーエンドで訓練する。
• ゲートの出力をネットワークアーキテクチャに統合し、選択された特徴のみが最終予測に寄与するようにする。
• 特徴の重要度とモデルの複雑さの情報理論的分析を通じて、ベルヌーイ分布の使用を正当化する。

実験結果

リサーチクエスチョン

• RQ1 特徴選択インジケータの微分可能で連続的なリラクゼーションは、高次元空間における非線形関数推定に有効に機能するか？
• RQ2 ベルヌーイ分布に従うゲート変数を導入することで、標準的なスパarsity誘導手法と比較して、深層モデルにおける特徴選択性能がどのように向上するか？
• RQ3 ベルヌーイリラクゼーションの情報理論的正当化は、本手法の一般化性能と安定性をどの程度裏付けるか？
• RQ4 本手法は、合成データおよび実世界の非線形データセットにおいて、既存の特徴選択手法と比較してどのように評価されるか？

主な発見

• 提案手法により、予測損失と特徴選択の両方を統合的に最適化する深層ネットワークのエンドツーエンド学習が成功裏に実現された。
• ベルヌーイ分布の連続的リラクゼーションにより、離散的特徴選択意思決定の勾配ベース最適化が可能となり、インジケータ変数の非微分性という課題を克服した。
• 情報理論的正当化により、ベルヌーイ分布が特徴の重要度をモデル化し、モデルの複雑さを制御する原理的根拠を持つことが裏付けられた。
• 合成データおよび実世界のデータセットにおける実験結果から、非線形設定において関連する特徴を効果的に同定できることを示した。