[논문 리뷰] PCA-based estimation for functional linear regression with functional responses

Masaaki Imaizumi, Kengo Kato|arXiv (Cornell University)|2016. 09. 01.

Statistical Methods and Inference참고 문헌 27인용 수 4

한 줄 요약

이 논문은 기능적 선형 회귀 모델에서 기능적 반응 변수를 고려하여 핵 함수 $ b(s,t) $ 를 추정하기 위한 PCA 기반 추정기들을 제안한다. 이는 악조건의 역문제 상황에서의 추정을 다루며, 단일 절단 추정기의 최소최대 최적 수렴 속도가 $ t $ 에 대한 부드러움과 고유값 감쇠율에만 의존하고 $ s $ 에 대한 부드러움에는 의존하지 않음을 입증한다. 또한 이중 절단 추정기가 최적 수렴 속도를 달성할 수 있는 조건을 제시한다.

ABSTRACT

This paper studies a regression model where both predictor and response variables are random functions. We consider a functional linear model where the conditional mean of the response variable at each time point is given by a linear functional of the predictor variable. In this paper, we are interested in estimation of the integral kernel $b(s,t)$ of the conditional expectation operator, where $s$ is an output variable while $t$ is a variable that interacts with the predictor variable. This problem is an ill-posed inverse problem, and we consider two estimators based on the functional principal component analysis (PCA). We show that under suitable regularity conditions, an estimator based on the single truncation attains the convergence rate for the integrated squared error that is characterized by smoothness of the function $b (s,t)$ in $t$ together with the decay rate of the eigenvalues of the covariance operator, but the rate does not depend on smoothness of $b(s,t)$ in $s$. This rate is shown to be minimax optimal, and consequently smoothness of $b(s,t)$ in $s$ does not affect difficulty of estimating $b$. We also consider an alternative estimator based on the double truncation, and provide conditions under which the alternative estimator attains the optimal rate. We conduct simulations to verify the performance of PCA-based estimators in the finite sample. Finally, we apply our estimators to investigate the relation between the lifetime pattern of working hours and total income, and the relation between the electricity spot price and the wind power infeed.

연구 동기 및 목표

• 기능적 예측 변수와 반응 변수를 가진 기능적 선형 모델에서 적분 핵 함수 $ b(s,t) $ 의 추정을 다루기 위해.
• 악조건의 역문제 맥락에서 PCA 기반 추정기의 수렴 속도 분석을 위해.
• 입력 변수 $ s $ 에 대한 부드러움이 $ b(s,t) $ 를 추정하는 데 어려움을 초래하는지 여부를 확인하기 위해.
• 다양한 정규성 조건 하에서 단일 절단 및 이중 절단 추정기의 성능을 비교하기 위해.
• 단일 절단 추정기의 수렴 속도에 대한 최소최대 최적성과 이중 절단 추정기가 동일한 속도를 달성할 수 있는 조건을 확립하기 위해.

제안 방법

• 예측 변수 $ X(t) $ 와 핵 함수 $ b(s,t) $ 를 $ X $ 의 공분산 연산자의 고유함수 $ \phi_k $ 를 기반으로 기능적 주성분 분석(PCA)을 활용하여 전개한다.
• 단일 절단 추정기를 제안하며, 전개식 $ b(s,t) = \sum_k \left[ \mathbb{E}(\xi_k Y(s)) / \mathbb{E}(\xi_k^2) \right] \phi_k(t) $ 를 기반으로 하며, $ m_n \to \infty $ 이면서 $ n \to \infty $ 일 때 급수를 절단한다.
• 이중 절단 추정기를 제안하며, 공동 전개식 $ b(s,t) = \sum_{j,k} \left[ \mathbb{E}(\eta_j \xi_k) / \mathbb{E}(\xi_k^2) \right] \phi_j(s) \phi_k(t) $ 를 사용하고, $ m_{n,1}, m_{n,2} \to \infty $ 로 절단한다.
• 독립 동일분포 기능 데이터를 기반으로 $ \mathbb{E}(\xi_k Y(s)) $, $ \mathbb{E}(\xi_k^2) $, 및 $ \phi_k $ 의 경험적 추정기를 활용한다.
• 비점근적 위험 경계와 최소최대 이론을 적용하며, Assouad의 보조정리와 Kullback-Leibler 발산을 사용하여 하한을 유도한다.
• 통합 제곱오차에 대한 최소최대 속도를 유도하며, 이 속도가 $ t $ 에 대한 부드러움과 공분산 연산자의 고유값 감쇠율에만 의존함을 보여준다.

실험 결과

연구 질문

• RQ1 기능적 반응 변수를 가진 기능적 선형 회귀에서 핵 함수 $ b(s,t) $ 를 추정할 때 최적의 수렴 속도는 무엇인가?
• RQ2 $ b(s,t) $ 가 출력 변수 $ s $ 에 대해 부드럽다는 것이 추정의 어려움에 영향을 미치는가?
• RQ3 적절한 정규성 조건 하에서 단일 절단 PCA 추정기가 최소최대 최적 수렴 속도를 달성할 수 있는가?
• RQ4 이중 절단 추정기가 최적 속도를 달성할 수 있는 조건는 무엇인가?
• RQ5 제안된 추정기들은 유한 표본 및 실세계 적용에서 어떻게 성능을 발휘하는가?

주요 결과

• 단일 절단 PCA 추정기는 통합 제곱오차의 수렴 속도가 $ b(s,t) $ 의 $ t $ 에 대한 부드러움과 공분산 연산자의 고유값 감쇠율에만 의존함을 보여준다.
• 이 수렴 속도는 $ b(s,t) $ 의 $ s $ 에 대한 부드러움에 영향을 받지 않으며, 이는 $ s $ 에 대한 부드러움이 추정의 어려움에 영향을 주지 않음을 시사한다.
• 유도된 속도가 최소최대 최적임을 입증하여 추정기가 통계적으로 효율적임을 확인한다.
• 이중 절단 추정기 역시 최적 속도를 달성할 수 있지만, $ s $ 와 $ t $ 에 모두 대해 더 강한 정규성 조건이 필요하다.
• 시뮬레이션 결과는 PCA 기반 추정기의 유한 표본 성능을 입증하며, 실용적 유용성을 뒷받침한다.
• 근로 시간과 소득, 바람 풍력과 전기 가격에 대한 실제 데이터 응용 사례를 통해 본 방법의 실증적 관련성을 입증한다.