[논문 리뷰] Partition-Based Functional Ridge Regression for High-Dimensional Data

Shaista Ashraf, Ismail Shah외 1명|arXiv (Cornell University)|2026. 03. 11.

Statistical Methods and Inference인용 수 0

한 줄 요약

이 논문은 계수 함수들을 관련 부분과 nuisance 부분으로 분할하고 차등 페널티를 적용하여 고차원 기능적 회귀에서 안정성과 해석가능성을 개선하는 파티션 기반 기능적 릿지 회귀 프레임워크를 도입합니다. 이 프레임워크는 이론적 보장과 시뮬레이션 및 Canadian weather data로 성능을 입증합니다.

ABSTRACT

This paper proposes a partition-based functional ridge regression framework to address multicollinearity, overfitting, and interpretability in high-dimensional functional linear models. The coefficient function vector \( \boldsymbolβ(s) \) is decomposed into two components, \( \boldsymbolβ_1(s) \) and \( \boldsymbolβ_2(s) \), representing dominant and weaker functional effects. This partition enables differential ridge penalization across functional blocks, so that important signals are preserved while less informative components are more strongly shrunk. The resulting approach improves numerical stability and enhances interpretability without relying on explicit variable selection. We develop three estimators: the Functional Ridge Estimator (FRE), the Functional Ridge Full Model (FRFM), and the Functional Ridge Sub-Model (FRSM). Under standard regularity conditions, we establish consistency and asymptotic normality for all estimators. Simulation results reveal a clear bias--variance trade-off where FRSM performs best in small samples through strong variance reduction, whereas FRFM achieves superior accuracy in moderate to large samples by retaining informative functional structure through adaptive penalization. An empirical application to Canadian weather data further demonstrates improved predictive performance, reduced variance inflation, and clearer identification of influential functional effects. Overall, partition-based ridge regularization provides a practical and theoretically grounded method for high-dimensional functional regression.

연구 동기 및 목표

• 고차원 기능적 선형 모델에서 다중공선성, 과적합 및 해석가능성 문제를 동기부여하고 해결합니다.
• 지배적 기능 효과와 더 약한 기능 효과를 다르게 처리하는 파티션된 릿지 프레임워크를 개발합니다.
• 일관성과 점근적 정상성 결과를 갖는 세 가지 추정량(FRE, FRFM, FRSM)을 제공합니다.
• 증가하는 샘플 및 증가하는 기준 차원 환경에서의 계산, 조정 및 추론에 관한 실용적 지침을 제공합니다.

제안 방법

• 계수 함수들을 스플라인 기저 확장을 사용하여 유한 차원 설계로 표현합니다.
• 계수 벡터를 관련 블록과 nuisance 블록으로 분할하여 차등 릿지 페널티를 가능하게 합니다.
• 세 가지 추정량을 정의합니다: 단일 릿지 페널티를 갖는 FRE, 블록 대각 페널티와 λ2 ≥ λ1을 갖는 FRFM, 관련 블록만 활성화되는 FRSM.
• 샘플 크기, 관찰 점, 기저 차원이 함께 증가하는 체제하에서의 점근적 일관성과 정상성을 확립합니다.
• β_j(s) = psi(s)^T b_j로 기저를 통해 Functional 객체에 매핑하는 통합 프레임워크를 제공하고 스무딩 매개변수를 선택하기 위해 GCV를 사용합니다.

실험 결과

연구 질문

• RQ1 고차원 기능적 선형 모델에서 파티션된 릿지 정규화가 안정성과 해석가능성을 어떻게 개선할 수 있는가?
• RQ2 growing-sample 및 growing-basis 체제에서 FRE, FRFM, FRSM의 이론적 성질(일관성과 점근적 정상성)은 무엇인가?
• RQ3 차등 페널티가 편향-분산 트레이드오프와 예측 성능에 어떻게 영향을 미치는가? 시뮬레이션 및 실제 데이터에서?
• RQ4 스플라인 기반 표현과 데이터 기반 조정을 통해 프레임워크를 실제로 구현할 수 있는가?
• RQ5 계수 함수의 선형 함수에 대한 추론에서 partitioning이 미치는 영향은 무엇인가?

주요 결과

• 계수 벡터를 관련 부분과 nuisance 구성요소로 분할하면 차등 페널티가 가능해져 수치적 안정성과 해석가능성이 개선되지만 명시적 변수 선택은 필요하지 않습니다.
• FRSM은 작은 샘플에서 강력한 분산 감소로 최상의 성능을 보이고, FRFM은 정보구조를 보존하며 적응적 페널티를 통해 중대형 샘플에서 더 높은 정확도를 달성합니다.
• 세 추정량은 명시된 규칙성 조건에서 일관성을 보이며, FRFM은 관련 부분에 대해 최적의 L2 수렴 속도를 유지하고 nuisance 부분을 더 공격적으로 축소할 수 있습니다.
• 추정 계수 함수의 선형 함수에 대한 점근 분포에 대한 중심극한정리를 포함한 이론적 결과가 있으며, 일관되게 추정 가능한 점근 분산을 가집니다.
• 캐나다의 기상 데이터에 대한 실증 적용은 예측 성능의 향상과 영향력 있는 기능적 효과의 명확한 식별을 보여줍니다.
• 시뮬레이션 연구는 파티션 접근 방식과 일치하는 편향-분산 트레이드오프를 강조합니다.