[논문 리뷰] Local Quadratic Estimation of the Curvature in a Functional Single Index Model

Zi Ye, Giles Hooker|arXiv (Cornell University)|2018. 03. 25.

Ecology and Vegetation Dynamics Studies참고 문헌 15인용 수 4

한 줄 요약

이 논문은 계수 함수와 링크 함수가 모두 알려져 있지 않은 기능적 단일 인덱스 모형에서 링크 함수의 곡률(두 번째 도함수)에 대한 局부 2차 추정 방법을 제안한다. 이 방법은 밴드폭 선택을 포함한 중첩 최적화를 사용하며, 수렴 속도는 $ O(h_n^4 + \frac{1}{n h_n^4}) $를 달성한다. 또한 링크 함수의 변수는 루트-$ n $ 일致하게 추정될 수 있음을 보여주지만, 초기값과 밴드폭 선택에 매우 민감하다.

ABSTRACT

The nonlinear effects of environmental variability on species abundance plays an important role in the maintenance of ecological diversity. Nonetheless, many common models use parametric nonlinear terms pre-determining ecological conclusions. Motivated by this concern, we study the estimate of the second derivative (curvature) of the link function g in a functional single index model. Since the coefficient function and the link function are both unknown, the estimate is expressed as a nested optimization. For a fixed and unknown coefficient function, the link function and its second derivative are estimated by local quadratic approximation, then the coefficient function is estimated by minimizing the MSE of the model. In this paper, we derive the rate of convergence of the estimation. In addition, we prove that the argument of g, can be estimated root-n consistently. However, practical implementation of the method requires solving a nonlinear optimization problem, and our results show that the estimates of the link function and the coefficient function are quite sensitive to the choices of starting values.

연구 동기 및 목표

• 계수 함수와 링크 함수가 모두 알려져 있지 않은 기능적 단일 인덱스 모형에서 링크 함수의 두 번째 도함수(곡률)를 추정하는 것.
• 계수 함수와 링크 함수의 곡률을 동시에 추정하는 중첩 최적화 절차를 개발하는 것.
• 정규성 조건 하에서 곡률 추정기의 이론적 수렴 속도를 도출하는 것.
• 실제 구현에서 비선형 최적화 절차의 초기값과 밴드폭 선택에 따른 곡률 추정의 민감도를 조사하는 것.
• 비모수적 곡률 추정을 통해 환경 변화에 대한 생태계 반응을 평가할 수 있는 프레임워크를 제공하는 것.

제안 방법

• 각 설계 점에서 링크 함수 $ g $ 의 두 번째 도함수를 국소 다항 근사에 의해 추정한다.
• 고정된 계수 함수 $ \beta $ 에 대해, 밴드폭 $ h_n $ 을 사용한 국소 다항 회귀를 통해 $ g $ 와 $ g'' $ 을 추정한다.
• 중첩 최적화를 수행한다: 먼저 주어진 $ \beta $ 에 대해 $ g'' $ 을 추정하고, 그 다음 $ \beta $ 에 대해 평균 제곱오차(MSE)를 최소화하여 $ \beta^0 $ 을 추정한다.
• 표본 크기 $ n $ 에 따라 감소하는 밴드폭 $ h_n $ 을 적용하여 이론적 수렴을 보장한다.
• 최적의 밴드폭을 선택하기 위해 교차검증(10개의 폴드 및 GCV)을 적용하며, 후속 교차검증 조정을 위한 히우리스틱 기법을 사용한다.
• estimation 오차를 유한하게 제한하기 위해 $ g'' $ 의 리프시츠 연속성과 $ \int X_i \hat{\beta} $ 의 루트-$ n $ 일치성을 활용한다.

실험 결과

연구 질문

• RQ1 기능적 단일 인덱스 모형에서 링크 함수의 두 번째 도함수에 대한 국소 2차 추정기의 이론적 수렴 속도는 무엇인가?
• RQ2 비선형 최적화 절차에서 초기값의 선택이 곡률 $ g'' $ 의 추정에 어떻게 영향을 미치는가?
• RQ3 불확실한 $ \beta^0 $ 에 비록, $ \int X_i \beta^0 $ 는 루트-$ n $ 속도로 일치하게 추정될 수 있는가?
• RQ4 다양한 밴드폭 선택 전략이 곡률 추정의 정확도에 어떤 영향을 미치는가?
• RQ5 밴드폭을 재스케일링하고 다른 시작 값을 사용할 경우 곡률 추정 성능에 어떤 영향을 미치는가?

주요 결과

• 곡률 추정 오차는 $ \frac{1}{n} \sum_{i=1}^n \mathbb{E} \left[ \hat{g}''\left( \int X_i \hat{\beta} \right) - g''\left( \int X_i \beta^0 \right) \right]^2 = O\left( h_n^4 + \frac{1}{n h_n^4} \right) $ 를 만족하며, 이는 수렴 속도를 보장한다.
• 변수 $ \int X_i \hat{\beta} $ 는 루트-$ n $ 속도로 추정되며, 정규성 조건 하에서 일관된 곡률 추정이 가능하다.
• 곡률 추정기는 비선형 최적화에서 초기값의 선택에 매우 민감하며, 나쁜 초기값은 최적해에 도달하지 못하게 만든다.
• 밴드폭을 재스케일링하면 추정 정확도가 크게 향상되며, 특히 $ g'' $ 의 경우 시뮬레이션 결과에서 RASE2 값이 최대 90% 감소함을 보여준다.
• 교차검증(10개의 폴드 및 GCV)은 신뢰할 수 있는 밴드폭 선택을 제공하지만, 최적의 곡률 추정을 위해서는 후속 교차검증 조정이 필요하다.
• 시뮬레이션 결과는 최적의 밴드폭을 사용하더라도 좋은 초기값이 없으면 곡률 추정이 여전히 어렵다는 것을 보여주며, 무작위 또는 열악한 점에서 시작할 경우 높은 RASE2 값을 기록한다.