[논문 리뷰] An analytic comparison of regularization methods for Gaussian Processes

Hossein Mohammadi, Rodolphe Le Riche외 3명|arXiv (Cornell University)|2016. 02. 02.

Advanced Multi-Objective Optimization AlgorithmsComputer Science참고 문헌 20인용 수 18

한 줄 요약

이 논문은 가우시안 프로세스(GPs)에서 허위역행(Inverse, PI)과 니거릿(regularization)의 엄밀한 분석적 비교를 제공하며, PI가 중복된 점들에서 반응값을 평균화하고 분산을 0으로 설정하는 반면, 니거릿 정규화는 개별 값을 유지한다는 것을 보여준다. 주요 기여는 정규화 선택을 안내하기 위한 데이터-모델 불일치 측도이며, 추가로 점값 대신 분포를 보간하는 새로운 분포 기반 GP로, 비정상적인 공분산 행렬에 대한 정규화의 안정성을 향상시킨다.

ABSTRACT

Gaussian Processes (GPs) are a popular approach to predict the output of a parameterized experiment. They have many applications in the field of Computer Experiments, in particular to perform sensitivity analysis, adaptive design of experiments and global optimization. Nearly all of the applications of GPs require the inversion of a covariance matrix that, in practice, is often ill-conditioned. Regularization methodologies are then employed with consequences on the GPs that need to be better understood.The two principal methods to deal with ill-conditioned covariance matrices are i) pseudoinverse and ii) adding a positive constant to the diagonal (the so-called nugget regularization).The first part of this paper provides an algebraic comparison of PI and nugget regularizations. Redundant points, responsible for covariance matrix singularity, are defined. It is proven that pseudoinverse regularization, contrarily to nugget regularization, averages the output values and makes the variance zero at redundant points. However, pseudoinverse and nugget regularizations become equivalent as the nugget value vanishes. A measure for data-model discrepancy is proposed which serves for choosing a regularization technique.In the second part of the paper, a distribution-wise GP is introduced that interpolates Gaussian distributions instead of data points. Distribution-wise GP can be seen as an improved regularization method for GPs.

연구 동기 및 목표

• 비정상적인 공분산 행렬을 다루기 위해 가우시안 프로세스(GP)에서 허위역행(PI)과 니거릿 정규화를 분석적으로 비교하는 것.
• GP 회귀에서 공분산 행렬의 특이성을 유발하는 중복된 점들을 정의하고 특성화하는 것.
• PI와 니거릿 정규화 사이의 선택을 안내하기 위한 데이터-모델 불일치 측도를 개발하는 것.
• 점 관측값 대신 확률 분포를 보간하는 분포 기반 GP 프레임워크를 제안하여 정규화의 안정성을 향상시키는 것.
• 니거릿 값 τ²가 0에 수렴할 때 PI와 니거릿 정규화가 이론적으로 동일하다는 것을 증명하는 것.

제안 방법

• 공분산 행렬 C의 고유값 분해를 사용하여 PI와 니거릿 정규화가 해 공간에 미치는 영향을 분석한다.
• 입력 좌표가 동일한 점들을 중복된 점으로 정의하며, 이는 공분산 행렬에서 고유값을 0으로 이끈다.
• C의 고유분해를 활용하여 두 정규화 기법 하에서 GP 회귀의 우도 함수를 유도한다.
• 원본 및 평균화된 반응 데이터 간의 로그우도 차이를 측정하는 불일치 측도 Δ(τ²)를 도입한다.
• 반복된 반응의 경험적 분포로 점 관측값을 대체하는 분포 기반 GP 모델을 제안한다.
• 응답 분산이 중복된 점에서 증가할 경우, 니거릿 τ²의 최대우도 추정치가 감소하지 않음을 증명하며, 불일치 측도의 단조성(단조 감소)을 입증한다.

실험 결과

연구 질문

• RQ1 허위역행과 니거릿 정규화는 가우시안 프로세스 회귀에서 중복된 데이터 포인트를 어떻게 다루는가?
• RQ2 허위역행과 니거릿 정규화 사이의 이론적 관계는 무엇이며, 어떤 조건에서 상호 등가성이 성립하는가?
• RQ3 PI와 니거릿 정규화 사이의 객관적 선택을 위한 데이터-모델 불일치 측도를 도출할 수 있는가?
• RQ4 반복 관측이 존재할 경우, 분포 기반 GP 모델은 기존의 점 기반 GP 정규화보다 어떻게 향상되는가?
• RQ5 중복된 점에서 분산을 증가시키면 최대우도 추정에서 니거릿 값 τ²가 더 크게 추정되는가?

주요 결과

• 허위역행 정규화는 중복된 점들에서 반응값을 평균화하고 해당 위치에서 크리징 분산을 0으로 설정하는 반면, 니거릿 정규화는 개별 값을 유지한다.
• 니거릿 값 τ²가 0에 수렴할 때, 허위역행과 니거릿 정규화는 예측 평균과 분산에서 점점 동일해지며 점차적으로 등가가 된다.
• 데이터-모델 불일치 측도 Δ(τ²)는 단조 감소하며, 원본 및 평균화된 반응 데이터 간의 로그우도 차이를 정량화한다.
• 응답 분산이 중복된 점에서 증가할 경우, 니거릿 τ²의 최대우도 추정치는 감소하지 않으며, 분산 증가가 양수일 경우 엄밀히 증가한다.
• 반복된 점에서의 반응 분포를 보간하는 분포 기반 GP 모델은 기존의 점 기반 GP보다 더 안정적인 정규화 프레임워크를 제공한다.
• 이론적 분석을 통해 우도 기반 τ² 선택이 중복된 점에서 관측된 변동성과 일치함을 확인하였으며, 이는 불일치 측도가 의사결정 기준으로 유효함을 검증한다.