[논문 리뷰] Some properties of nested Kriging predictors

François Bachoc, Nicolas Durrande외 2명|arXiv (Cornell University)|2017. 07. 13.

Advanced Multi-Objective Optimization Algorithms참고 문헌 3인용 수 7

한 줄 요약

이 논문은 대규모 컴퓨터 실험을 위한 크리깅 보조 모델 집합 방법을 분석하며, 표준 분산 기반 집합 방법이 일관성 없을 수 있음을 보여준다. 반면, 내재된 크리깅 예측기는 보조 모델 간 상관관계를 고려함으로써 일관성을 보장하며, 정확한 조건부 분포와 효율적인 사후 공분산 계산을 가능하게 한다. 이는 유니버설 크리깅과 측정 오차 모델로의 확장도 가능하다.

ABSTRACT

Kriging is a widely employed technique, in particular for computer experiments, in machine learning or in geostatistics. An important challenge for Kriging is the computational burden when the data set is large. This article focuses on a class of methods aiming at decreasing this computational cost, consisting in aggregating Kriging predictors based on smaller data subsets. It proves that aggregation methods that ignore the covariancebetween sub-models can yield an inconsistent final Kriging prediction. In contrast, a theoretical study of the nested Kriging method shows additional attractive properties for it: First, this predictor is consistent, second it can be interpreted as an exact conditional distribution for a modified process and third, the conditional covariances given the observations can be computed efficiently. This article also includes a theoretical and numerical analysis of how the assignment of the observation points to the sub-models can affect the prediction ability of the aggregated model. Finally, the nested Kriging method is extended to measurement errors and to universal Kriging.

연구 동기 및 목표

• 대규모 데이터셋에서 전체 크리깅의 계산 비용 문제를 해결하기 위해 확장 가능한 집합 방법 개발
• 보조 모델 간 상관관계를 忽시하는 분산 중심 집합 방법의 한계를 규명하여 일관성 없는 예측을 초래함
• 대규모 데이터에 대해 내재된 크리깅 예측기(NPAE)의 이론적 일관성과 계산 효율성 확립
• 내재된 크리깅 프레임워크를 측정 오차와 유니버설 크리깅을 처리할 수 있도록 확장하면서도 계산 비용을 유지
• 관측점이 보조 모델에 할당되는 방식이 예측 정확도와 모델 성능에 미치는 영향 조사

제안 방법

• 계층적 구조를 사용하여 보조 모델 간 상호공분산을 명시적으로 모델링하는 내재된 크리깅 예측기(NPAE) 제안
• 보조 모델 예측의 역 공분산 행렬에서 유도된 가중치를 사용해 집합 예측기를 가중 조합으로 표현
• 표준 분산 중심 집합 방법과 달리, 내재된 크리깅 예측기가 미약한 정규성 조건 하에서 일관성을 보임을 증명
• 내재된 크리깅 예측기가 수정된 가우시안 프로세스 사전분포의 정확한 조건부 기대값과 일치함을 보여줌
• 집합 예측기의 조건부 분산에 대해 닫힌 형태의 표현식 제공으로 효율적인 사후 샘플링 가능
• 집합 단계에서 상수 평균을 모델링하여 유니버설 크리깅으로 방법을 확장하고, 업데이트된 가중치 및 분산 공식 유도

실험 결과

연구 질문

• RQ1 관측 수가 많을 경우 크리깅 보조 모델 집합 방법이 일관된 예측을 도출할 수 있는가?
• RQ2 왜 분산 중심의 표준 집합 방법은 보조 모델 간 상관관계를 忽시하여 일관성이 없어지는가?
• RQ3 내재된 크리깅 예측기(NPAE)가 일관성과 계산 효율성을 보장하는 이론적 성질은 무엇인가?
• RQ4 관측점이 보조 모델에 할당되는 방식이 집합 모델의 예측 정확도에 어떤 영향을 미치는가?
• RQ5 내재된 크리깅 프레임워크는 계산 비용 증가 없이 유니버설 크리깅 및 측정 오차 모델로 확장될 수 있는가?

주요 결과

• 보조 모델 간 상관관계를 忽시하는 집합 방법은 예측자 간 의존성을 반영하지 못해 일관성이 없음
• 내재된 크리깅 예측기는 일관성이 있으며, 수정된 가우시안 프로세스 사전분포의 정확한 조건부 기대값과 일치함
• 내재된 크리깅 예측기의 조건부 분산은 효율적으로 계산 가능하여 사후 샘플링과 불확실성 정량화 가능
• p ∼ n^{1/2} 일 때 계산 복잡도 $ O(n^3/p^2 + n^2 + p^3) $ 및 저장 공간 $ O(n) $을 확보하여 확장 가능함
• 유니버설 크리깅 및 측정 오차 모델로의 확장 시에도 내재된 크리깅 예측기는 일관성과 효율성을 유지함
• 수치적 증거는 관측점을 보조 모델 간 군집화하는 것이 무작위 할당보다 예측 성능을 향상시킴을 시사함