[논문 리뷰] Consistency of Empirical Bayes And Kernel Flow For Hierarchical Parameter Estimation

Yifan Chen, Houman Owhadi외 1명|arXiv (Cornell University)|2020. 05. 22.

Gaussian Processes and Bayesian Inference참고 문헌 41인용 수 4

한 줄 요약

이 논문은 가우시안 프로세스 회귀에서 계층적 파rameter 추정에 대해 경험 베이즈(Empirical Bayes, EB)와 커널 플로우(Kernel Flow, KF)의 일致성을 확립한다. 대규모 데이터 근사에서 EB는 진짜 규칙성 파rameter $ s $로 수렴하는 반면, KF는 $ \frac{s - d/2}{2} $로 수렴함을 증명한다. 주요 기여는 모델 부정확성 하에서의 암묵적 편향과 강건성에 대한 이론적 분석이며, 수치 실험을 통해 EB가 잘 지정된 경우에 낮은 분산을 보이지만, KF는 모델 부정확성 상황에서 뛰어난 성능을 보임을 확인한다.

ABSTRACT

Gaussian process regression has proven very powerful in statistics, machine learning and inverse problems. A crucial aspect of the success of this methodology, in a wide range of applications to complex and real-world problems, is hierarchical modeling and learning of hyperparameters. The purpose of this paper is to study two paradigms of learning hierarchical parameters: one is from the probabilistic Bayesian perspective, in particular, the empirical Bayes approach that has been largely used in Bayesian statistics; the other is from the deterministic and approximation theoretic view, and in particular the kernel flow algorithm that was proposed recently in the machine learning literature. Analysis of their consistency in the large data limit, as well as explicit identification of their implicit bias in parameter learning, are established in this paper for a Matérn-like model on the torus. A particular technical challenge we overcome is the learning of the regularity parameter in the Matérn-like field, for which consistency results have been very scarce in the spatial statistics literature. Moreover, we conduct extensive numerical experiments beyond the Matérn-like model, comparing the two algorithms further. These experiments demonstrate learning of other hierarchical parameters, such as amplitude and lengthscale; they also illustrate the setting of model misspecification in which the kernel flow approach could show superior performance to the more traditional empirical Bayes approach.

연구 동기 및 목표

• 가우시안 프로세스의 계층적 파rameter 추정에서 경험 베이즈(EB)와 커널 플로우(KF)의 일치성과 암묵적 편향을 분석한다.
• 토러스 상의 Matérn 유사 모델에서 규칙성 파arameter에 대한 EB와 KF 추정기의 이론적 수렴성을 확립한다.
• 특히 진짜 과정이 가정된 커널 형태와 다를 경우, 모델 부정확성 하에서 EB와 KF의 강건성, 특히 규칙성 파arameter와 비연속성 위치 복원 능력을 비교한다.
• 수치 실험을 통해 Matérn 유사 모델을 초월해 진폭, 길이 척도, 가변 계수 타원형 연산자에 대한 분석을 확장한다.
• 푸리에 급수 기반의 이론적 프레임워크를 제시하여, 잘 지정된 경우와 부정확한 경우 모두에 적용 가능한 규칙성 파arameter 학습 분석을 수행한다.

제안 방법

• 푸리에 급수 특성화를 통해 토러스 상의 Matérn 유사 커널을 사용하여 규칙성 파arameter $ s $를 분석한다.
• 계층적 가우시안 프로세스 사전분포 하에서 주어진 우도를 최대화하는 방식으로 경험 베이즈를 적용한다.
• 관측된 함수와 예측된 함수 간의 $ L^2 $ 오차를 최소화하는 결정론적, 근사 이론 기반 방법으로 커널 플로우를 활용한다.
• 대규모 데이터 근사 분석을 통해 일치성 결과를 도출하며, EB와 KF 추정기의 확률적 수렴을 증명한다.
• 커널의 스펙트럼 성질과 유도된 정규화를 분석하기 위해 푸리에 기반 툴킷을 도입한다.
• 잘 지정된 모델과 부정확한 모델에 대한 수치 실험을 수행하여, 진폭, 길이 척도, 비연속성 파arameter 복원 능력에서 성능을 비교한다.

실험 결과

연구 질문

• RQ1 Matérn 유사 모델에서 대규모 데이터 근사 하에서 경험 베이즈 추정기는 진짜 규칙성 파arameter $ s $를 일관되게 복원하는가?
• RQ2 커널 플로우 추정기는 진짜 규칙성과 관련된 파arameter를 일관되게 복원하는가? 만약 그렇다면, 그 한계 값은 무엇인가?
• RQ3 EB와 KF의 암묵적 편향은 규칙성 파arameter 측면에서 어떻게 다를까? 그리고 이들의 서로 다른 수렴 행동을 이끌어내는 원인에는 무엇이 있는가?
• RQ4 진짜 과정이 가정된 커널 형태와 다를 경우, 즉 모델 부정확성 하에서 EB와 KF는 어떻게 성능을 보이는가? 특히 비연속성 위치 복원 능력에서 어떻게 비교되는가?
• RQ5 푸리에 분석 기반의 이론적 프레임워크는 진폭과 길이 척도와 같은 다수의 초모수 복원에 확장 가능한가?

주요 결과

• 대규모 데이터 근사 하에서 경험 베이즈 추정기는 Matérn 유사 모델에서 진짜 규칙성 파arameter $ s $로 확률적 수렴을 보인다.
• 커널 플로우 추정기는 $ \frac{s - d/2}{2} $로 확률적 수렴을 보이며, 이는 $ L^2 $ 오차에서 빠른 수렴 속도를 달성하는 최소 파arameter에 해당한다.
• 잘 지정된 모델에서는 EB가 KF보다 규칙성 추정에서 더 낮은 분산을 보이며, 사전분포가 정확히 지정된 경우 더 높은 통계적 효율성을 나타낸다.
• 특히 비연속성 탐지에서 모델 부정확성 상황에서 커널 플로우가 경험 베이즈를 능가하며, 잘못된 모델링 가정에 대해 더 강건함을 보였다.
• 푸리에 급수 툴킷은 규칙성 파arameter 분석에 엄밀한 분석을 가능하게 하며, Matérn 유사 모델에서 EB에 의한 진폭 복원의 일치성을 입증한다.
• 수치 실험을 통해 두 방법 모두 잘 지정된 설정에서는 진폭, 길이 척도, 비연속성 위치를 효과적으로 복원할 수 있음을 확인했지만, EB가 실패하는 부정확한 설정에서도 KF는 성능을 유지함을 입증했다.