[論文レビュー] Functional Linear Regression with Mixed Predictors

Daren Wang, Zifeng Zhao+2 more|arXiv (Cornell University)|Dec 1, 2020

Statistical Methods and Inference参考文献 60被引用数 6

ひとこと要約

本稿は、再現核ヒルバート空間（RKHS）における罰則付き最小二乗推定量を用いて、関数応答、関数予測子、および高次元ベクトル予測子を同時に扱う関数線形回帰モデルを提案する。滑らかさとグループlasso罰則を組み合わせることで、滑らかさとスパarsityが支配する非パラメトリックおよび高次元パラメトリックレート間のフェーズ転移を明らかにし、最小最大最適な予測リスクを達成する。

ABSTRACT

We study a functional linear regression model that deals with functional responses and allows for both functional covariates and high-dimensional vector covariates. The proposed model is flexible and nests several functional regression models in the literature as special cases. Based on the theory of reproducing kernel Hilbert spaces (RKHS), we propose a penalized least squares estimator that can accommodate functional variables observed on discrete sample points. Besides a conventional smoothness penalty, a group Lasso-type penalty is further imposed to induce sparsity in the high-dimensional vector predictors. We derive finite sample theoretical guarantees and show that the excess prediction risk of our estimator is minimax optimal. Furthermore, our analysis reveals an interesting phase transition phenomenon that the optimal excess risk is determined jointly by the smoothness and the sparsity of the functional regression coefficients. A novel efficient optimization algorithm based on iterative coordinate descent is devised to handle the smoothness and group penalties simultaneously. Simulation studies and real data applications illustrate the promising performance of the proposed approach compared to the state-of-the-art methods in the literature.

研究の動機と目的

• 関数的および高次元ベクトル予測子を同時に扱える柔軟な関数線形回帰モデルの開発。
• 関数データが離散的かつ不規則なグリッド上で観測される場合の関数回帰係数の推定という課題への対処。
• 滑らかさとスパarsityの両方の制約下での有限標本における予測リスクの理論的保証の確立。
• 滑らかさとグループスパarsity罰則を同時に処理できる効率的な最適化アルゴリズムの開発。
• シミュレーションおよび実世界の応用（例：クラウドファンディングの資金調達予測）を通じて、本手法の優位性の実証。

提案手法

• 関数データが離散的な点で観測される状況を扱うために、再現核ヒルバート空間（RKHS）における罰則付き最小二乗推定量を用いる。
• 関数的予測子成分の滑らかさを保証するため、二変数係数関数 $ A^* $ に滑らかさ罰則を課す。
• 高次元ベクトル予測子におけるスパarsityを誘導するため、一変数係数関数 $ \beta_j^* $ にグループlasso型罰則を適用する。
• 反復的座標降下法により最適化を解き、関数的およびベクトル係数の推定値を交互に更新する。
• 理論的分析では、RKHS理論を用いて過剰予測リスクの有限標本バウンドを導出する。
• シミュレーションおよびクラウドファンディングプラットフォームの実データを通じて、本手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 関数線形回帰は、関数的応答に加えて関数的および高次元ベクトル予測子を同時にモデル化するためにどのように拡張可能か？
• RQ2 滑らかさとスパarsityが関数係数に共存する状況下で、予測リスクの最適収束レートは何か？
• RQ3 滑らかさとスパarsityの相互作用は、関数回帰における最小最大予測リスクにどのように影響するか？
• RQ4 関数回帰において、滑らかさとグループスパarsity罰則を同時に処理できる効率的な最適化アルゴリズムを設計可能か？
• RQ5 実世界のデータにおいて、本手法は最先端の手法（FDA、PFFR）と比較して、予測精度および頑健性の点で優れているか？

主な発見

• 提案された推定量は、滑らかさとスパarsityの両方の制約下で最小最大最適な過剰予測リスクを達成する。
• 滑らかさの度合い $ A^* $ と $ \beta_j^* $ のスパarsity $ \mathfrak{s} $ に依存するフェーズ転移現象が同定された。
• 非パラメトリックレートの収束は $ O(T^{-c}) $（$ c \approx 0.811 $）であり、劣最適だが一貫性があることが確認された。
• 高次元パラメトリックレートは $ O(\mathfrak{s} \log p / T) $ であり、$ \mathfrak{s} $ についての実効的勾配が 1.087、$ T $ についてが -1.012 であり、理論的スケーリングを確認した。
• 実際のクラウドファンディングデータにおける資金調達曲線の予測において、最先端の手法（FDA、PFFR）を上回る性能を示した。
• 反復的座標降下法は効率的に収束し、両方の罰則を同時に処理でき、実データセットへの実用的実装を可能にした。