[논문 리뷰] On Effects of Condition Number of Regression Matrix upon Hyper-parameter Estimators for Kernel-based Regularization Methods.

Yue Ju, Tianshi Chen외 2명|arXiv (Cornell University)|2020. 01. 01.

Numerical methods in inverse problems인용 수 1

한 줄 요약

이 논문은 커널 기반 정규화에서 회귀 행렬의 조건수(condition number)가 두 하이퍼파rameter 추정 방법—실험 베이즈(EB)와 SUREy—에 미치는 영향을 분석한다. SUREy의 수렴 속도 상한이 EB보다 조건수의 지수를 한 단계 더 높게 가지며, 조건수가 증가함에 따라 SUREy의 점근적 분산이 EB보다 더 크게 증가함을 보여주며, 특히 리지 회귀 설정에서 두드러진다.

ABSTRACT

In this paper, we focus on the influences of the condition number of the regression matrix upon the comparison between two hyper-parameter estimation methods: the empirical Bayes (EB) and the Stein's unbiased estimator with respect to the mean square error (MSE) related to output prediction (SUREy). We firstly show that the greatest power of the condition number of the regression matrix of SUREy cost function convergence rate upper bound is always one larger than that of EB cost function convergence rate upper bound. Meanwhile, EB and SUREy hyper-parameter estimators are both proved to be asymptotically normally distributed under suitable conditions. In addition, one ridge regression case is further investigated to show that when the condition number of the regression matrix goes to infinity, the asymptotic variance of SUREy estimator tends to be larger than that of EB estimator.

연구 동기 및 목표

• 커널 기반 정규화에서 회귀 행렬의 조건수가 하이퍼파rameter 추정기 성능에 미치는 영향을 조사하는 것.
• 회귀 행렬의 조건수와 관련하여 실험 베이즈(EB) 및 SUREy 추정기의 수렴 속도 상한을 비교하는 것.
• 적절한 조건 하에서 EB 및 SUREy 추정기의 점근적 정규성을 검토하는 것.
• 특히 리지 회귀 설정에서 조건수가 무한으로 갈수록 SUREy 및 EB 추정기의 점근적 분산 행동을 분석하는 것.

제안 방법

• 회귀 행렬의 조건수 함수로서 EB 및 SUREy 하이퍼파rameter 추정기의 수렴 속도 상한을 유도하는 것.
• 설계 행렬 및 커널 구조에 대한 적절한 정규성 조건 하에서 EB 및 SUREy 추정기의 점근적 정규성을 확립하는 것.
• 리지 회귀 케이스를 분석하여 조건수가 무한으로 갈수록 EB 및 SUREy 추정기의 점근적 분산을 비교하는 것.
• 행렬 분석 및 점근 이론을 사용하여 조건수를 추정기의 통계적 성질, 특히 평균 제곱 오차(MSE) 및 분산 행동에 연결하는 것.

실험 결과

연구 질문

• RQ1 SUREy 추정기의 수렴 속도 상한은 EB 추정기와 비교해 회귀 행렬의 조건수에 어떻게 영향을 받는가?
• RQ2 표준 정규성 조건 하에서 EB 및 SUREy 하이퍼파rameter 추정기는 점근적으로 정규분포를 띠는가?
• RQ3 회귀 행렬의 조건수가 무한으로 갈수록 SUREy 추정기의 점근적 분산은 EB 추정기와 비교해 어떻게 변화하는가?
• RQ4 리지 회귀 설정에서, 회귀 행렬이 점점 더 악조건이 되면 SUREy 추정기는 EB보다 더 큰 점근적 분산을 보이는가?

주요 결과

• SUREy 비용 함수의 수렴 속도 상한은 EB 비용 함수보다 조건수의 지수를 한 단계 더 높게 가진다.
• 적절한 정규성 조건 하에서 EB 및 SUREy 하이퍼파rameter 추정기는 점근적으로 정규분포를 따른다.
• 리지 회귀 케이스에서, 회귀 행렬의 조건수가 무한으로 갈수록 SUREy 추정기의 점근적 분산은 EB 추정기의 분산을 초과한다.
• 조건수가 SUREy의 수렴 속도 및 분산 행동에 EB보다 더 강한 영향을 미치며, 이는 SUREy가 악조건성에 더 민감함을 시사한다.