[論文レビュー] Partition-Based Functional Ridge Regression for High-Dimensional Data

Shaista Ashraf, Ismail Shah+1 more|arXiv (Cornell University)|Mar 11, 2026

Statistical Methods and Inference被引用数 0

ひとこと要約

この論文は、係数関数を関連部分とノイズ部分に分割し、差分ペナルティを適用して高次元の機能的回帰における安定性と解釈性を向上させるpartition-based functional ridge regressionフレームワークを導入します。FRE、FRFM、FRSMの推定量を理論的保証とともに定義し、シミュレーションとカナダの気象データによる性能を示します。

ABSTRACT

This paper proposes a partition-based functional ridge regression framework to address multicollinearity, overfitting, and interpretability in high-dimensional functional linear models. The coefficient function vector \( \boldsymbolβ(s) \) is decomposed into two components, \( \boldsymbolβ_1(s) \) and \( \boldsymbolβ_2(s) \), representing dominant and weaker functional effects. This partition enables differential ridge penalization across functional blocks, so that important signals are preserved while less informative components are more strongly shrunk. The resulting approach improves numerical stability and enhances interpretability without relying on explicit variable selection. We develop three estimators: the Functional Ridge Estimator (FRE), the Functional Ridge Full Model (FRFM), and the Functional Ridge Sub-Model (FRSM). Under standard regularity conditions, we establish consistency and asymptotic normality for all estimators. Simulation results reveal a clear bias--variance trade-off where FRSM performs best in small samples through strong variance reduction, whereas FRFM achieves superior accuracy in moderate to large samples by retaining informative functional structure through adaptive penalization. An empirical application to Canadian weather data further demonstrates improved predictive performance, reduced variance inflation, and clearer identification of influential functional effects. Overall, partition-based ridge regularization provides a practical and theoretically grounded method for high-dimensional functional regression.

研究の動機と目的

• 高次元の機能線形モデルにおけるmulticollinearity（多重共線性）、過適合、解釈性の課題を動機づけ、対処する。
• 支配的な機能効果と弱い機能効果を異なる扱いとする partitioned ridge フレームワークを開発する。
• 整合性と漸近正規性の結果を持つ3つの推定量（FRE、FRFM、FRSM）を提供する。
• サンプルサイズの増加・基底数の増加に対応する実務的な計算、チューニング、推論の指針を提供する。

提案手法

• 係数関数をスプライン基底展開で表現し、有限次元の設計行列を得る。
• 係数ベクトルを関連ブロックとノイズブロックに分割し、差分リッジペナルティを可能にする。
• 3つの推定量を定義する：単一のリッジペナルティを用いるFRE、ブロック対角ペナルティでλ2 ≥ λ1、関連ブロックのみをアクティブにするFRSM。
• サンプルサイズ、観測点、基底次元が同時に増加するレジームの下で漸近的一致性と正規性を確立する。
• 平滑化パラメータをGCVで選択し、β_j(s) = ψ(s)^T b_j によって機能的オブジェクトへ統一的に写像する枠組みを提供する。

実験結果

リサーチクエスチョン

• RQ1 partitioned ridge正則化は高次元の機能線形モデルの安定性と解釈性をどのように改善できるか？
• RQ2 成長するサンプルと成長するベースでのFRE、FRFM、FRSMの理論的性質（一致性と漸近正規性）はどうなるか？
• RQ3 差分ペナルティは偏り-分散のトレードオフと予測性能にどのような影響を及ぼすか（シミュレーションと実データ）？
• RQ4 スプラインベースの表現とデータ駆動チューニングで実装可能か？
• RQ5 係数関数の線形機能推定に対する推定の分割が推定に与える影響は何か？

主な発見

• 係数ベクトルを関連成分とノイズ成分に分割して差分ペナルティを適用することで、数値的安定性と解釈性を向上させつつ、明示的な変数選択を伴わない。
• 小規模サンプルではFRSMが強い分散削減により最も良く機能し、中程度〜大規模サンプルではFRFMが有用な情報構造を適応的ペナルティで保持するため高い精度を達成する。
• すべての推定量は規定された正規性条件の下で一致性を持つことが示され、FRFMは関連部分の最適なL2収束率を維持し、ノイズ部分をより積極的に縮小できる。
• 推定係数関数の線形機能に対する中心極限定理と、漸近分散が一貫して推定可能であることを含む理論結果。
• カナダの気象データへの実証的適用で予測性能の改善と影響力のある機能効果の識別がより明確になる。
• シミュレーション研究は分割アプローチと整合する偏り-分散トレードオフを強調する。