[論文レビュー] Lasso in infinite dimension: application to variable selection in functional multivariate linear regression

Angelina Roche|arXiv (Cornell University)|Jan 1, 2018

Statistical Methods and Inference参考文献 72被引用数 5

ひとこと要約

本稿は、無限次元の予測変数を伴う多変量関数的線形回帰における変数選択のための機能的lasso法を提案する。固定または確率的デザインの下で、オракル不等式による理論的保証を伴う2つの推定戦略——全ヒルバート空間上でのグループlassoと、有限次元部分空間上でのグループlasso——を導入し、計算のための座標降下法アルゴリズムを提供。シミュレーションおよび実データで妥当性を検証した。

ABSTRACT

In more and more applications, a quantity of interest may depend on several covariates, with at least one of them infinite-dimensional (e.g. a curve). To select relevant covariate in this context, we propose an adaptation of the Lasso method. The criterion is based on classical Lasso inference under group sparsity (Yuan and Lin, 2006; Lounici et al., 2011). We give properties of the solution in our infinite-dimensional context. A sparsity-oracle inequality is shown and we propose a coordinate-wise descent algorithm, inspired by the glmnet algorithm (Friedman et al., 2007). A numerical study on simulated and experimental datasets illustrates the behavior of the method.

研究の動機と目的

• 少なくとも1つの予測変数が無限次元である多変量関数的線形モデルにおける変数選択の課題に対処すること。
• 高次元または無限次元のヒルバート空間における関数データに適応したlassoに基づく手法を開発すること。
• 固定デザインおよび確率的デザインの両設定において、変数選択の理論的性能境界（オラクル不等式）を確立すること。
• 実用的な観点から、関数的lasso解を推定する計算可能アルゴリズムを提供すること。
• オゾーン予測や核の安全性応用を含む、シミュレーションおよび実世界のデータセットを用いて手法を検証すること。

提案手法

• 応答変数Yと、H = H₁ × ... × Hₚという積ヒルバート空間Hに属する予測変数を有する多変量関数的線形モデルを定義。ここで少なくとも1つのHⱼは無限次元である。
• 2つの推定手法を提案：(1) 全ヒルバート空間H上でのグループlasso最小化、(2) ペナルティ付き最小二乗法により選択されたHの有限次元部分空間上でのグループlasso最小化。
• 両推定基準の解を計算するための座標降下法アルゴリズムを用い、実装可能性を確保。
• 固定デザインおよび確率的デザインの両設定において、予測リスクのオラクル不等式を確立。真の係数関数のスパarsityに適応する推定量であることを示した。
• 集中不等式およびスペクトルノルムのバインドを用いて、経験的および母集団のグラム行列を制御し、安定性を保証。
• ベルシュタインの不等式を用いて、経験的内積とその期待値との乖離をバインド。これは、高確率的バインドを導出する上で重要である。

実験結果

リサーチクエスチョン

• RQ1 lasso法は、無限次元の予測変数を伴う多変量関数的線形モデルに効果的に拡張可能か？
• RQ2 ヒルバート空間内の曲線や関数としての予測変数がある場合、変数選択はどのように実行可能か？
• RQ3 固定または確率的デザインの下で、関数的lasso推定量の理論的保証（例えば、予測誤差バインド）はどのように導出可能か？
• RQ4 推定プロセスにおける有限次元部分空間の選択が、関数的lassoの性能にどのように影響するか？
• RQ5 高次元または無限次元の設定において、関数的lassoのための効率的な座標降下法アルゴリズムを設計・実装可能か？

主な発見

• 本稿では、2つの推定手法すべてに対してオラクル不等式を確立。関数的lasso推定量の予測リスクが、最適リスクに加えて真の係数関数のスパarsityに依存する項で抑えられることを示した。
• 理論的解析により、スパarsity仮定のもとで、設計が確率的であっても、最適収束速度を達成することが確認された。
• 座標降下法アルゴリズムは、関数的lasso解を効果的に計算でき、実データセットへの実用的応用を可能にした。
• ペナルティ付き最小二乗法による有限次元部分空間の選択は、近似誤差を制御する安定かつ一貫性のある推定手順をもたらした。
• シミュレーションおよび実データ（例：オゾーン予測、核の安全性）における数値実験により、関連する関数的および多変量予測変数を正しく同定できることが示された。
• 集中不等式およびスペクトルノルムの制御を用いて理論的バインドを導出し、共分散作用素の固有構造および設計の複雑さに明示的な依存関係を示した。