[논문 리뷰] Nonparametric estimation in functional linear models with second order stationary regressors

Jan Johannes|ArXiv.org|2009. 01. 27.

Statistical Methods and Inference참고 문헌 25인용 수 4

한 줄 요약

이 논문은 두 번째 순서 정상 회귀자를 갖는 기능선형 모형에 대해 푸리에 도메인에서의 임계값 처리를 적용한 직교급수 추정기법을 제안하며, 다양한 규칙성 조건과 연결 조건 하에서 최소최대 최적 수렴 속도를 달성한다. 주요 기여는 소볼레프 유형의 매끄러움 조건과 유한하거나 무한하게 스무딩되는 공분산 연산자 조건 하에서 예측 및 도함수 추정에 대한 통합된 최소최대 이론을 수립하는 것이다.

ABSTRACT

We consider the problem of estimating the slope parameter in functional linear regression, where scalar responses Y1,...,Yn are modeled in dependence of second order stationary random functions X1,...,Xn. An orthogonal series estimator of the functional slope parameter with additional thresholding in the Fourier domain is proposed and its performance is measured with respect to a wide range of weighted risks covering as examples the mean squared prediction error and the mean integrated squared error for derivative estimation. In this paper the minimax optimal rate of convergence of the estimator is derived over a large class of different regularity spaces for the slope parameter and of different link conditions for the covariance operator. These general results are illustrated by the particular example of the well-known Sobolev space of periodic functions as regularity space for the slope parameter and the case of finitely or infinitely smoothing covariance operator.

연구 동기 및 목표

• 회귀자가 두 번째 순서 정상일 때 기능선형 모형의 경사 함수에 대한 비모수적 추정기법을 개발하기 위해.
• 광범위한 규칙성 공간과 공분산 연산자 연결 조건 하에서 추정기의 최소최대 최적 수렴 속도를 확립하기 위해.
• 예측의 평균제곱예측오차와 도함수 추정의 평균통합제곱오차와 같은 성능 측정 기준을 통합하기 위해.
• 소볼레프 유형의 매끄러움 공간과 공분산 연산자의 다양한 스무딩 행동을 고려할 때, 제안된 추정기의 최소최대 최적성(optimality)을 입증하기 위해.

제안 방법

• 경사 함수를 정규직교기저에 대해 전개하여 직교급수 추정기법을 구성하며, 계수는 데이터로부터 추정된다.
• 나쁜 조건의 공분산 연산자로 인해 발생하는 역문제를 안정화하기 위해 푸리에 도메인에서 임계값 처리를 적용한다.
• 정규화를 통한 스펙트럼 절단에 기반하며, 편향과 분산을 균형 잡기 위해 잘라내는 수준과 임계값을 선택한다.
• 이론적 분석은 가중 위험의 일반적 프레임워크를 사용하며, 위험은 공분산 연산자의 고유구조에 기반하여 측정된다.
• 진짜 경사 함수의 매끄러움과 공분산 연산자의 고유값의 감쇠 속도에 적응함으로써 추정기법이 최소최대 수렴 속도를 달성함을 보였다.
• 공분산 연산자의 고유값과 경사 함수의 규칙성 사이의 새로운 연결 조건을 사용하여 이론적 보장을 도출하였다.

실험 결과

연구 질문

• RQ1 두 번째 순서 정상 회귀자를 갖는 기능선형 모형에서 경사 함수 추정의 최소최대 최적 수렴 속도는 무엇인가?
• RQ2 푸리에 도메인에서의 임계값 처리를 적용한 직교급수 추정기법의 성능은 기존 방법에 비해 예측 및 도함수 추정 측면에서 어떻게 비교되는가?
• RQ3 한 가지 추정 전략이 다양한 규칙성 공간과 공분산 연산자 유형에서 최소최대 최적성을 동시에 달성할 수 있는가?
• RQ4 공분산 연산자의 고유값과 경사 함수의 매끄러움 사이의 연결 조건이 수렴 속도에 미치는 영향은 무엇인가?
• RQ5 소볼레프 유형의 매끄러움 조건 하에서, 그리고 공분산 연산자가 유한하거나 무한하게 스무딩되는 경우 수렴 속도는 어떻게 행동하는가?

주요 결과

• 스펙트럼 절단을 적용한 제안된 직교급수 추정기법은 광범위한 규칙성 공간과 연결 조건 하에서 최소최대 최적 수렴 속도를 달성한다.
• 소볼레프 유형의 매끄러움과 다항식적으로 감쇠하는 고유값의 경우, 최적 수렴 속도는 $ n^{-1/(2p+2a+1)} $이며, 여기서 $ p $ 는 매끄러움을 측정하고 $ a $ 는 고유값 감쇠를 제어한다.
• 지수적으로 감쇠하는 고유값의 경우, 도함수 추정의 차수 $ s $ 에 대해 최적 수렴 속도는 $ n^{-(2p-2s)/(2p+2a+1)} $ 이며, $ m_* o ( ext{log} hinspace n)^{1/(2a)} $ 이다.
• 동일한 튜닝 규칙 하에서 예측과 도함수 추정 양쪽 모두에서 최적 성능을 달성함으로써, 이전에 별개로 다뤄졌던 분석을 통합한다.
• 최소최대 하한값은 고유함수 전개에 기반한 테스트 시퀀스의 새로운 구성과 $ ho $, $ riangle $, 고유값 사이의 연결 조건을 사용하여 유도되었다.
• 이론적 결과는 알려지지 않은 공분산 구조에 대해 강건하며, 임계값 처리를 통해 데이터 기반 고유구조에 적응함으로써 성능을 보장한다.