[논문 리뷰] Maximum likelihood estimation for Gaussian processes under inequality constraints

François Bachoc, Agnès Lagnoux외 1명|arXiv (Cornell University)|2018. 04. 10.

Statistical Methods and Inference참고 문헌 47인용 수 1

한 줄 요약

이 논문은 고정 도메인 점 渐진에서 경계 조건, 단조성 또는 볼록성 등의 부등식 제약 조건 하에서 가우시안 프로세스에 대한 최대우도추정법(MLE)을 연구한다. 이는 비제약 조건과 제약 조건이 있는 최대우도추정법(cMLE)이 동일한 점점적 분포를 가지며, 제약 조건이 점점적 영향을 미치지 않는다는 것을 증명한다. 시뮬레이션 결과 cMLE는 유한 표본에서 정확도가 향상됨을 확인하였고, 노이즈가 있는 관측치 및 예측으로의 확장도 제공된다.

ABSTRACT

We consider covariance parameter estimation for a Gaussian process under inequality constraints (boundedness, monotonicity or convexity) in fixed-domain asymptotics. We address the estimation of the variance parameter and the estimation of the microergodic parameter of the Mat\'ern and Wendland covariance functions. First, we show that the (unconstrained) maximum likelihood estimator has the same asymptotic distribution, unconditionally and conditionally to the fact that the Gaussian process satisfies the inequality constraints. Then, we study the recently suggested constrained maximum likelihood estimator. We show that it has the same asymptotic distribution as the (unconstrained) maximum likelihood estimator. In addition, we show in simulations that the constrained maximum likelihood estimator is generally more accurate on finite samples. Finally, we provide extensions to prediction and to noisy observations.

연구 동기 및 목표

• 경계 조건, 단조성 또는 볼록성 등의 부등식 제약 조건 하에서 가우시안 프로세스에 대한 최대우도추정법(MLE)의 점점적 행동을 분석하는 것.
• 프로세스가 제약 조건을 만족할 조건 하에서 MLE와 제약 조건이 있는 최대우도추정법(cMLE)의 점점적 조건부 및 무조건부 분포를 비교하는 것.
• 실제 설정에서 cMLE와 비제약 조건 MLE의 유한 표본 성능를 평가하는 것.
• 예측 및 노이즈가 있는 관측치 모델에 대한 프레임워크를 확장하는 것.
• 공간 및 컴퓨터 실험 적용 분야에서 제약 조건이 있는 공분산 매개변수 추정의 이론적 기초를 확립하는 것.

제안 방법

• 관측 위치가 고정된 유한 영역 내에서 밀도가 증가하는 고정 도메인 점점적 분석을 적용한다.
• 점점적 공간 통계, 가우시안 프로세스의 극값 이론, 재생 커널 힐버트 공간(RKHS)의 도구를 사용하여 점점적 분포를 유도한다.
• 부등식 제약 조건을 우도 최적화에 직접 통합하는 제약 조건이 있는 최대우도추정법(cMLE)을 제안한다.
• 프로세스가 제약 조건을 만족할 조건 하에서 MLE와 cMLE의 점점적 조건부 분포를 유도하며, 조건부 기대값과 확률 경계를 사용한다.
• 조건부 기대값의 근사 오차를 제어하기 위해 코시-슈바르츠 부등식과 젠센의 부등식을 활용한다.
• 결과를 예측 및 노이즈가 있는 관측치 모델로 확장하여, cMLE가 유리한 유한 표본 성질을 유지함을 보여준다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스가 경계 조건, 단조성 또는 볼록성 등의 부등식 제약 조건을 만족할 조건 하에서 MLE의 점점적 분포가 변하는가?
• RQ2 동일한 제약 조건 하에서 제약 조건이 있는 최대우도추정법(cMLE)이 비제약 조건 MLE와 점점적 동등한가?
• RQ3 정확도와 정밀도 측면에서 cMLE의 유한 표본 성능는 MLE에 비해 어떻게 다른가?
• RQ4 cMLE는 점점적 및 유한 표본 성질을 유지하면서도 예측 및 노이즈가 있는 관측치 모델로 확장될 수 있는가?
• RQ5 제약 조건 하에서 미세에르고딕 매개변수 추정의 영향은 무엇이며, 이는 예측 품질에 영향을 미치는가?

주요 결과

• 가우시안 프로세스가 부등식 제약 조건을 만족할 조건 하에서 MLE의 점점적 조건부 분포는 그 무조건적 점점적 분포와 정확히 동일하다.
• 제약 조건이 있는 최대우도추정법(cMLE)은 비제약 조건 MLE와 동일한 점점적 분포를 가지며, 이는 제약 조건이 추정에 대해 점점적 영향을 거의 미치지 않는다는 것을 의미한다.
• 시뮬레이션 결과 cMLE는 일반적으로 비제약 조건 MLE보다 유한 표본에서 더 정확하며, 특히 경계 조건, 단조성 또는 볼록성 제약 조건 하에서 그러한 경향이 뚜렷하다.
• cMLE는 비제약 조건 MLE와 동일한 정규성 조건 하에서 일致성과 점점적 정규성을 유지한다.
• 예측 및 노이즈가 있는 관측치 모델로의 확장 결과, cMLE는 유리한 유한 표본 성질을 유지하며 예측 구간을 개선함을 보였다.
• 이론적 증명은 RKHS 이론, 가우시안 프로세스의 극값 분석, 조건부 확률 경계에 기반하며, 이전의 일致성 결과를 초월하는 새로운 기술적 발전을 포함한다.