[논문 리뷰] Functional Linear Regression with Mixed Predictors

Daren Wang, Zifeng Zhao외 2명|arXiv (Cornell University)|2020. 12. 01.

Statistical Methods and Inference참고 문헌 60인용 수 6

한 줄 요약

이 논문은 재생 커널 힐버트 공간 (RKHS) 내에서 페널라이즈드 최소제곱 추정기와 함께 기능적 반응, 기능적 예측변수, 고차원 벡터 예측변수를 동시에 다루는 기능적 선형 회귀 모델을 제안한다. 부드러움과 그룹 Lasso 페널티를 조합하여 최소최대 최적의 예측 위험을 달성하며, 부드러움과 희박성에 의해 지배되는 비모수적 및 고차원 모수적 속도 사이의 단계 전이 현상을 드러낸다.

ABSTRACT

We study a functional linear regression model that deals with functional responses and allows for both functional covariates and high-dimensional vector covariates. The proposed model is flexible and nests several functional regression models in the literature as special cases. Based on the theory of reproducing kernel Hilbert spaces (RKHS), we propose a penalized least squares estimator that can accommodate functional variables observed on discrete sample points. Besides a conventional smoothness penalty, a group Lasso-type penalty is further imposed to induce sparsity in the high-dimensional vector predictors. We derive finite sample theoretical guarantees and show that the excess prediction risk of our estimator is minimax optimal. Furthermore, our analysis reveals an interesting phase transition phenomenon that the optimal excess risk is determined jointly by the smoothness and the sparsity of the functional regression coefficients. A novel efficient optimization algorithm based on iterative coordinate descent is devised to handle the smoothness and group penalties simultaneously. Simulation studies and real data applications illustrate the promising performance of the proposed approach compared to the state-of-the-art methods in the literature.

연구 동기 및 목표

• 기능적 예측변수와 고차원 벡터 예측변수를 모두 수용할 수 있는 유연한 기능적 선형 회귀 모델을 개발하기 위해.
• 기능적 데이터가 이산적이고 임의의 격자에서 관측될 경우 기능적 회귀 계수를 추정하는 데 도전하는 문제를 다루기 위해.
• 함께 적용된 부드러움과 희박성 제약 조건 하에서 예측 위험에 대한 유한 표본 이론적 보장을 수립하기 위해.
• 부드러움과 그룹 희박성 페널티를 동시에 처리할 수 있는 효율적인 최적화 알고리즘을 개발하기 위해.
• 모의 실험과 실제 응용(예: 크라우드 펀딩 기부금 예측)을 통해 본 방법의 우수성을 입증하기 위해.

제안 방법

• 모델은 기능적 데이터가 이산적인 점들에서 관측될 경우 재생 커널 힐버트 공간 (RKHS) 내에서 페널라이즈드 최소제곱 추정기를 사용하여 처리한다.
• 기능적-기능적 구성요소의 부드러움을 확보하기 위해 이변량 계수 함수 $ A^* $ 에 부드러움 페널티를 부과한다.
• 고차원 벡터 예측변수의 희박성을 유도하기 위해 단변량 계수 함수 $ \beta_j^* $ 에 그룹 Lasso 유형의 페널티를 적용한다.
• 최적화는 기능적 계수 추정치와 벡터 계수 추정치를 번갈아가며 갱신하는 반복 좌표 하강 알고리즘을 통해 해결한다.
• 이론적 분석은 RKHS 이론을 활용하여 초과 예측 위험에 대한 유한 표본 범위를 유도한다.
• 본 방법은 모의 실험과 크라우드 펀딩 플랫폼의 실제 데이터를 통해 검증되었으며, 강건성과 예측 정확성을 입증한다.

실험 결과

연구 질문

• RQ1 기능적 선형 회귀는 기능적 반응과 함께 기능적 예측변수와 고차원 벡터 예측변수를 동시에 모델링할 수 있도록 어떻게 확장될 수 있는가?
• RQ2 기능적 계수에 부드러움과 희박성이 동시에 존재할 경우 예측 위험의 최적 수렴 속도는 무엇인가?
• RQ3 부드러움과 희박성 간의 상호작용은 기능적 회귀에서 최소최대 예측 위험에 어떻게 영향을 미치는가?
• RQ4 기능적 회귀에서 부드러움과 그룹 희박성 페널티를 동시에 처리할 수 있는 효율적인 최적화 알고리즘이 설계될 수 있는가?
• RQ5 실제 세계 데이터에서 예측 정확도와 강건성 측면에서 본 방법은 최첨단 기법들과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 추정기는 함께 적용된 부드러움과 희박성 제약 조건 하에서 최소최대 최적의 초과 예측 위험을 달성한다.
• 부드러움의 정도와 $ \beta_j^* $ 의 희박성 $ \mathfrak{s} $ 를 고려할 때, 최적의 초과 위험에 영향을 미치는 단계 전이 현상이 확인되었다.
• 비모수적 수렴 속도는 $ O(T^{-c}) $ 로, $ c \approx 0.811 $ 이며, 이는 최적은 아니지만 일致적인 속도임을 확인한다.
• 고차원 모수적 수렴 속도는 $ O(\mathfrak{s} \log p / T) $ 이며, $ \mathfrak{s} $ 에 대한 실증 기울기는 1.087, $ T $ 에 대한 실증 기울기는 -1.012 로, 이론적 스케일링을 확인한다.
• 실제 크라우드 펀딩 데이터에서 기부금 곡선을 예측하는 데 있어 기존 최첨단 기법들(FDA, PFFR)보다 본 방법이 뛰어난 성능을 보였다.
• 반복 좌표 하강 알고리즘은 효율적으로 수렴하며, 두 가지 페널티를 동시에 처리할 수 있어 실제 데이터셋에 대한 실용적 구현을 가능하게 한다.