[論文レビュー] Structured nonlinear variable selection

Magda Gregorová, Alexandros Kalousis+1 more|arXiv (Cornell University)|May 16, 2018

Sparse and Compressive Sensing Techniques参考文献 19被引用数 5

ひとこと要約

本稿では、再生核ヒルバート空間（RKHS）における導出に基づく正則化子を用いた構造的非線形変数選択のための新規フレームワークを提案する。偏微分を用いてグループlassoおよびエラスティックネットの非線形版を導入し、閉形式の近接作用素を持つADMMベースのアルゴリズム（NVSD）を開発した。合成データおよび実世界のデータにおいて、ベースラインと比較して予測精度および変数選択精度に優れた性能を示し、特に事前知識としてのグループ構造が存在する場合に顕著である。

ABSTRACT

We investigate structured sparsity methods for variable selection in regression problems where the target depends nonlinearly on the inputs. We focus on general nonlinear functions not limiting a priori the function space to additive models. We propose two new regularizers based on partial derivatives as nonlinear equivalents of group lasso and elastic net. We formulate the problem within the framework of learning in reproducing kernel Hilbert spaces and show how the variational problem can be reformulated into a more practical finite dimensional equivalent. We develop a new algorithm derived from the ADMM principles that relies solely on closed forms of the proximal operators. We explore the empirical properties of our new algorithm for Nonlinear Variable Selection based on Derivatives (NVSD) on a set of experiments and confirm favourable properties of our structured-sparsity models and the algorithm in terms of both prediction and variable selection accuracy.

研究の動機と目的

• 入力変数に対して非線形に依存するターゲットを扱う非線形回帰における構造的変数選択を解決すること。
• 線形構造的スパarsity手法（グループlasso、エラスティックネット）を、偏微分をスパarsityの指標として用いることで非線形関数へと拡張すること。
• 学習問題をRKHSで定式化し、実用的最適化のための有限次元同等問題を導出すること。
• 閉形式の近接作用素を持つADMMベースのアルゴリズム（NVSD）を開発し、先行研究で用いられる近似を回避すること。
• 予測精度および変数選択性能の優位性を実験的に検証すること、特に既知のグループ構造がある場合に焦点を当てる。

提案手法

• 偏微分のL2ノルムに基づく2つの新しい正則化子を提案：グループスパarsity用（GL）およびエラスティックネットに類似した正則化（EN）。線形構造的スパarsity手法を基盤としている。
• 非線形変数選択問題をRKHSフレームワーク内で定式化し、解がカーネル関数およびその偏微分の組み合わせとして表現されることを示す一般化された代表定理を証明する。
• カーネル展開と訓練データ上での導出評価を用いて、無限次元の変分問題を有限次元最適化問題に再定式化する。
• すべての近接作用素に対して閉形式解を計算できる新しいADMMベースのアルゴリズム（NVSD）を構築し、正確かつ効率的な更新を可能にする。
• ヒルベルトノルムと導出に基づく正則化子を併用することで強い凸性と良好な一般化性能を確保し、小規模な検証に基づき固定されたνパラメータを採用する。
• 2段階のADMM更新を採用：線形方程式を解き、閉形式の近接作用素によるソフトスレッショルド処理を実行し、双対変数を更新する。

実験結果

リサーチクエスチョン

• RQ1 偏微分を用いることで、非線形回帰モデルにおける構造的スパarsityを効果的に誘導できるか？
• RQ2 導出ノルムを用いて、グループlassoおよびエラスティックネット正則化を非線形関数へと一般化できるか？
• RQ3 閉形式の近接作用素を持つ、収束性が保証された効率的なアルゴリズムを、導出に基づく非線形変数選択に設計できるか？
• RQ4 入力変数に事前グループ構造を組み込むことで、非線形設定における予測精度および選択精度が向上するか？
• RQ5 NVSDアルゴリズムは、Denovas、HSIC、SpAMといった既存手法と比較して、予測性能およびスパースパターン回復の両面で優れているか？

主な発見

• グループlassoバージョンであるNVSD(GL)は、すべての実世界データセット（AI, CP, CC, KN, EL）において、すべてのベースラインと比較して顕著に高い予測精度を達成し、それぞれRMSEが4.16、7.43、8.79、1.96、4.76であった。
• 同じデータセットで、NVSD(GL)はサポートサイズを5.00、5.84、8.00、11.84、13.82にまで削減し、よりコンパクトで関連性の高い変数選択を示した。
• エラスティックネットバージョンであるNVSD(L)は、すべての実験でDenovasを上回る予測精度を示し、より低いRMSEとより優れたスパースパターンを達成した。
• すべてのデータセット（AIを除く）で、5%の有意水準におけるウィルコクソン符号順位検定により、ベースラインと比較して統計的に有意な改善が確認された。
• NVSDにおける閉形式の近接作用素の使用により、アルゴリズム収束精度まで正確なスパースパターン回復が可能になった。これに対して、近似に基づく手法とは異なり、正確な回復が達成された。
• 事前グループ構造が利用可能な場合、アルゴリズムは頑健で優れた性能を示し、非線形モデリングにおける構造的スパarsityの価値を裏付けた。