[논문 리뷰] On Asymptotic Properties of Hyperparameter Estimators for Kernel-based Regularization Methods

Biqiang Mu, Tianshi Chen외 1명|arXiv (Cornell University)|2017. 07. 03.

Statistical Methods and Inference참고 문헌 13인용 수 3

한 줄 요약

이 논문은 커널 기반 정규화 방법에서의 하이퍼파rameter 추정기의 점근적 성질을 분석하며, 특히 경험 베이즈(EB)와 두 가지 스텐의 불편한 위험 추정기(SURE)에 초점을 맞춘다. 이는 SURE 추정기가 점근적으로 평균 제곱오차를 최소화하고 따라서 최적임을 보여주지만, 널리 사용되는 EB 추정기는 다른, 열 劣한 목표로 수렴한다는 것을 밝힌다. 놀랍게도 SURE는 EB보다 수렴 속도가 느리며, 이는 $\Phi^T\Phi/N$의 수렴 속도와 무관하다.

ABSTRACT

The kernel-based regularization method has two core issues: kernel design and hyperparameter estimation. In this paper, we focus on the second issue and study the properties of several hyperparameter estimators including the empirical Bayes (EB) estimator, two Stein's unbiased risk estimators (SURE) and their corresponding Oracle counterparts, with an emphasis on the asymptotic properties of these hyperparameter estimators. To this goal, we first derive and then rewrite the first order optimality conditions of these hyperparameter estimators, leading to several insights on these hyperparameter estimators. Then we show that as the number of data goes to infinity, the two SUREs converge to the best hyperparameter minimizing the corresponding mean square error, respectively, while the more widely used EB estimator converges to another best hyperparameter minimizing the expectation of the EB estimation criterion. This indicates that the two SUREs are asymptotically optimal but the EB estimator is not. Surprisingly, the convergence rate of two SUREs is slower than that of the EB estimator, and moreover, unlike the two SUREs, the EB estimator is independent of the convergence rate of $Φ^TΦ/N$ to its limit, where $Φ$ is the regression matrix and $N$ is the number of data. A Monte Carlo simulation is provided to demonstrate the theoretical results.

연구 동기 및 목표

• 커널 기반 정규화 방법에서 하이퍼파rameter 추정기의 점근적 행동을 이해하는 것.
• 경험 베이즈(EB)와 두 가지 스텐의 불편한 위험 추정기(SURE)의 수렴 목표와 속도를 비교하는 것.
• 예측 오차를 최소화하는 데 있어 EB 또는 SURE 추정기가 점근적으로 최적인지 명확히 하는 것.

제안 방법

• EB, SURE 및 그 오라클 대응체의 일阶 최적 조건을 유도한다.
• 최적 조건을 공통 형태로 재작성하여 추정기 간의 구조적 관계를 드러낸다.
• 데이터 크기 $N \to \infty$일 때 추정기의 극한 행동을 분석하며, 수렴 목표와 속도에 중점을 둔다.
• 정규화된 최소 제곱법을 이용한 FIR 모델 추정을 구체적 프레임워크로 활용한다.
• 이론적 결과를 검증하기 위해 몬테카를로 시뮬레이션을 실시한다.
• 행렬 미적분학과 점근적 분석을 활용하며, $\Phi^T\Phi/N$이 극한으로 수렴한다고 가정한다.

실험 결과

연구 질문

• RQ1 데이터 크기 $N \to \infty$일 때, EB 추정기의 하이퍼파rameter 추정치의 극한 값은 무엇인가요?
• RQ2 데이터 크기 $N \to \infty$일 때, 두 SURE 추정기의 하이퍼파rameter 추정치의 극한 값은 무엇인가요?
• RQ3 어느 추정기가 평균 제곱오차를 최소화하는 데 점근적으로 최적입니까?
• RQ4 EB와 SURE 추정기의 수렴 속도는 어떻게 비교될 수 있나요?
• RQ5 EB 추정기의 수렴 속도는 $\Phi^T\Phi/N$이 그 극한으로 수렴하는 속도에 의존합니까?

주요 결과

• 데이터 크기 $N \to \infty$일 때, 두 SURE 추정기는 각각의 평균 제곱오차를 최소화하는 하이퍼파rameter로 수렴하며, 이는 점근적 최적성임을 나타낸다.
• 경험 베이즈(EB) 추정기는 MSE가 아닌 EB 추정 기준의 기대값을 최소화하는 다른 하이퍼파rameter로 수렴하므로, 점근적으로 최적이 아니라는 것을 의미한다.
• 두 SURE 추정기의 수렴 속도는 EB 추정기보다 느리다.
• EB 추정기의 수렴은 $\Phi^T\Phi/N$이 극한으로 수렴하는 속도와 무관하며, 이는 SURE 추정기와는 다릅니다.
• 몬테카를로 시뮬레이션은 추정기의 이론적 수렴 행동과 속도를 확인한다.