[논문 리뷰] Nonlinear function-on-function regression by RKHS

Peijun Sang, Bing Li|arXiv (Cornell University)|2022. 07. 17.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 비선형 함수-함수 회귀 모델을 제안하며, 이는 복잡한 비선형 관계를 포착하기 위해 중첩된 재생 쿠르트 힐버트 공간(RKHS)을 사용한다. 첫 번째 계층 힐버트 공간인 공변수의 공간 위에 두 번째 계층 RKHS를 구성함으로써, 이 방법은 비선형 모델링의 유연성을 제공하고, 미약한 정규성 조건 하에서 예측된 반응의 수렴 속도와 약한 수렴성을 확립한다.

ABSTRACT

We propose a nonlinear function-on-function regression model where both the covariate and the response are random functions. The nonlinear regression is carried out in two steps: we first construct Hilbert spaces to accommodate the functional covariate and the functional response, and then build a second-layer Hilbert space for the covariate to capture nonlinearity. The second-layer space is assumed to be a reproducing kernel Hilbert space, which is generated by a positive definite kernel determined by the inner product of the first-layer Hilbert space for $X$--this structure is known as the nested Hilbert spaces. We develop estimation procedures to implement the proposed method, which allows the functional data to be observed at different time points for different subjects. Furthermore, we establish the convergence rate of our estimator as well as the weak convergence of the predicted response in the Hilbert space. Numerical studies including both simulations and a data application are conducted to investigate the performance of our estimator in finite sample.

연구 동기 및 목표

• 기능적 공변수와 기능적 반응 간의 비선형 관계를 모델링할 수 있는 비선형 회귀 프레임워크를 개발하는 것.
• 기능 데이터 분석에서 함수-함수 회귀에 대한 민감하고 비모수적인 방법의 부족을 해결하는 것.
• 추정 절차에서 비등간격 또는 희박한 기능 관측치를 수용할 수 있도록 하는 것.
• 제안된 추정기의 이론적 수렴 속도와 약한 수렴 성질을 확립하는 것.

제안 방법

• 이 방법은 중첩된 힐버트 공간 구조를 구성한다: 기능적 공변수 $X$ 는 힐버트 공간 $\mathcal{H}_X$ 에 위치하며, $\mathcal{H}_X$ 의 내적에서 유도된 정의적 양성 커널을 사용해 $\mathcal{H}_X$ 위에 두 번째 계층 RKHS를 구축한다.
• 회귀 연산자는 두 번째 계층 RKHS에서 반응 힐버트 공간 $\mathcal{H}_Y$ 로 매핑되며, 이는 비선형 기능적 관계를 가능하게 한다.
• 안정성과 수렴성을 보장하기 위해 Tikhonov 정규화를 사용하여 추정을 수행하며, 이는 RKHS 프레임워크 내에서의 표현 정리(Representer Theorem)를 활용한다.
• 커널 기반 추정에서 관측된 데이터 포인트를 직접 사용함으로써, 이 방법은 비등간격 또는 희박한 기능 데이터를 수용할 수 있다.
• 이 방법은 추정된 연산자의 복잡성을 제어하기 위해 복잡도 페널티 항을 포함한 경험 위험 최소화에 기반한다.
• 미약한 정규성 조건 하에서 예측된 반응의 약한 수렴성이 확립되어, 추론의 渐近적 타당성을 보장한다.

실험 결과

연구 질문

• RQ1 비선형 함수-함수 회귀 모델을 구성하여 무작위 함수 간의 복잡한 의존성을 민감하게 모델링할 수 있는가?
• RQ2 RKHS를 포함한 중첩된 힐버트 공간 구조는 비선형성을 유지하면서도 이론적으로 다룰 수 있는 유연성을 어떻게 제공하는가?
• RQ3 일반 조건 하에서 추정된 회귀 연산자의 수렴 속도는 어떤가?
• RQ4 기능 데이터가 비등간격 또는 희박한 시간 포인트에서 관측될 경우 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 제안된 추정 절차 하에서 예측된 반응은 힐버트 공간에서 약하게 수렴하는가?

주요 결과

• 제안된 추정기는 기저의 회귀 연산자의 매끄러움과 공분산 연산자의 고유구조에 따라 수렴 속도를 확보한다.
• 반응 공간 $\mathcal{H}_Y$ 에서의 예측된 반응의 약한 수렴성이 미약한 모멘트 및 정규성 조건 하에서 확립된다.
• 수치적 연구를 통해 기능 데이터가 희박하게 관측되더라도 이 방법은 양호한 예측 성능을 유지한다.
• 이론적 분석은 공변수 및 반응 과정에 대한 정규성 조건 하에서 추정기의 渐近적 일致성을 확인한다.
• Tikhonov 정규화의 사용은 수치적 안정성을 보장하며, RKHS 프레임워크 내에서 표현 정리의 적용을 가능하게 한다.
• 중첩된 힐버트 공간 구조는 비모수적이고 민감한 비선형 기능적 관계 모델링을 가능하게 하며, 파라미터 형태를 가정하지 않는다.