[論文レビュー] Sparse-Input Neural Networks for High-dimensional Nonparametric Regression and Classification

Jean Feng, Noah Simon|arXiv (Cornell University)|Nov 21, 2017

Machine Learning and Data Classification参考文献 47被引用数 56

ひとこと要約

本論文は、第一層の入力重みに対するスパースグループラッソペナルティを用いて高次元のノンパラメトリック回帰と分類における特徴量を選択する SPINN というニューラルネットワークを提案し、理論的な過剰リスク境界と無関係な重みのゼロ化を実現する。

ABSTRACT

Neural networks are usually not the tool of choice for nonparametric high-dimensional problems where the number of input features is much larger than the number of observations. Though neural networks can approximate complex multivariate functions, they generally require a large number of training observations to obtain reasonable fits, unless one can learn the appropriate network structure. In this manuscript, we show that neural networks can be applied successfully to high-dimensional settings if the true function falls in a low dimensional subspace, and proper regularization is used. We propose fitting a neural network with a sparse group lasso penalty on the first-layer input weights. This results in a neural net that only uses a small subset of the original features. In addition, we characterize the statistical convergence of the penalized empirical risk minimizer to the optimal neural network: we show that the excess risk of this penalized estimator only grows with the logarithm of the number of input features; and we show that the weights of irrelevant features converge to zero. Via simulation studies and data analyses, we show that these sparse-input neural networks outperform existing nonparametric high-dimensional estimation methods when the data has complex higher-order interactions.

研究の動機と目的

• p a0>>a0n の settings でニュートラルネットワークを小さな有益な特徴サブセットに集中させることでノンパラメトリック学習を動機づけ、対処する。
• SPINN を提案し、第一層の重みにスパースグループラッソペナルティを課して特徴のスパース性と相互作用を誘導する。
• 高次元 regime で過剰リスクと無関係な重みの縮小を示す理論的保証を提供する。
• SPINN を訓練する最適化アルゴリズムを開発し、実用的な性能のためのハイパーパラメータ調整について議論する。
• 複雑な相互作用が存在する場合に、シミュレーションおよび実データ分析を通じて SPINN が既存の高次元ノンパラメトリック手法よりも優れていることを示す。

提案手法

• 入力特徴量を p 個、L 個の隠れ層を持つニューラルネットワークを定義し、入力重みに対して第一層スパースグループラッソペナルティ、上層の重みに対してリッジペナルティを適用する。
• ペナルティ付き目的関数を定式化する：経験的損失の最小化に加え、上層重みの二乗和に lambda0 を掛けた和と、第一層重みに Omega_alpha を掛けた和に lambda を掛けたものを最小化する。 Omega_alpha は L1 とグループラッソペナルティを組み合わせたもの。
• Sparse Group Lasso を更新するための proximal ステップを用いた Generalized Gradient Descent (GIST) ベースの訓練アルゴリズムを採用する。
• 収束を保証するための収束性条件を満たすラインサーチ基準を用いる。
• 真のモデルが s 個の関連特徴を使用している場合、Irrelevant weights がゼロへ縮小する条件の下で、過剰リスクは O_p(n^{-1} s^{5/2} log p) のオーダーになるという過剰リスク境界を示す。
• 跨いだ交差検証によるハイパーパラメータ調整と、実用的な観点からのネットワークの深さ・幅や上層の小さなリッジペナルティなどの留意点を議論する。

実験結果

リサーチクエスチョン

• RQ1 SPINN は入力層のスパース性を強制しつつ、複雑な相互作用を許容することで高次元のノンパラメトリック関数を効果的に学習できるか。
• RQ2 ペナルティ付き SPINN 推定量の統計的収束特性、特に p が大きくなるときの過剰リスクと無関係な重みの縮小はどうなるか。
• RQ3 真の関数が higher-order の相互作用を含む場合、SPINN は既存の高次元ノンパラメトリック手法とどう比較されるか。
• RQ4 高次元設定での信頼できる訓練を実現するアルゴリズム的戦略（GIST ベースの proximal gradient）は何か。
• RQ5 ハイパーパラメータ（alpha, lambda, ネットワーク構造）をどのように調整して sparsity と予測性能のバランスをとるべきか。

主な発見

• SPINN は過剰リスクが log p のみの成長で収束し、無関係な入力重みがゼロに収束する。
• 真の関数が s 個の特徴を用いた sparse ニューラルネットワークで良好に近似される場合、過剰リスクは O_p(n^{-1} s^{5/2} log p) のオーダーでスケールする。
• モデル容量を少数の情報量豊かな特徴のサブセットに集中させることで、複雑な相互作用を含む高次元データを扱える。
• シミュレーションとデータ分析は、 higher-order の相互作用が存在する場合に、SPINN が既存のノンパラメトリック高次元推定法より優れることを示している。
• 提案されたスパースグループ正則化の下では、情報量の少ない入力に関連する重みがゼロへ縮小され、解釈性のある特徴選択を提供する。
• ローカルな強凸性と同定性型条件の下での理論的保証を提供する枠組みで、初層サイズと sparsity |S| に結びつく収束速度を持つ。