[논문 리뷰] Convolutional Gaussian Processes

Mark van der Wilk, Carl Edward Rasmussen외 1명|arXiv (Cornell University)|2017. 09. 06.

Gaussian Processes and Bayesian Inference참고 문헌 14인용 수 53

한 줄 요약

이 논문은 inter-domain inducing-point approximation을 사용하여 Gaussian processes를 위한 합성 컨볼루션 커널을 도입하고, 이미지 데이터에 대한 확장 가능하고 컨볼루션 인지 GP 추론을 가능하게 하며, marginal likelihood를 통해 컨볼루션과 RBF 구성요소를 결합하여 성능을 최적화합니다.

ABSTRACT

We present a practical way of introducing convolutional structure into Gaussian processes, making them more suited to high-dimensional inputs like images. The main contribution of our work is the construction of an inter-domain inducing point approximation that is well-tailored to the convolutional kernel. This allows us to gain the generalisation benefit of a convolutional kernel, together with fast but accurate posterior inference. We investigate several variations of the convolutional kernel, and apply it to MNIST and CIFAR-10, which have both been known to be challenging for Gaussian processes. We also show how the marginal likelihood can be used to find an optimal weighting between convolutional and RBF kernels to further improve performance. We hope that this illustration of the usefulness of a marginal likelihood will help automate discovering architectures in larger models.

연구 동기 및 목표

• 이미지와 같은 고차원 입력에 대해 일반화 능력을 높이기 위해 Gaussian processes에 컨볼루션 구조를 도입한다.
• 스케일러블 추론을 가능하게 하는 컨볼루션 커널에 맞춘 inter-domain inducing point 근사치를 개발한다.
• 컨볼루션 커널의 변형을 탐구하고 이미지 데이터셋에서의 성능을 평가한다.
• 주요 가능도(marginal likelihood)가 컨볼루션 구성과 비컨볼루션 구성요소(예: RBF)의 가중치를 자동으로 조정하여 성능을 최적화하는지 Demonstrate한다.

제안 방법

• patch-response 함수 g를 적용하고 GP 사전분포를 사용해 패치를 합산하여 f를 형성하고 컨볼루션 커널을 얻는다.
• 확장이 가능한 추론을 가능하게 하는 inducing inputs와 inter-domain inducing variables를 포함한 변분 희소 GP 프레임워크를 채택한다(ELBO 최적화).
• 커널 계산 비용을 줄이기 위해 패치 공간에 inducing 포인트를 배치하기 위한 컨볼루션 커널의 inter-domain 공분산을 유도한다.
• translation-invariant( 변환 불변성), 가중치가 부여된, 다중 채널 컨볼루션 커널을 탐구하고 joint GP를 사용해 marginal likelihood로 RBF 커널과 결합한다.
• color 이미지 확장에는 color-patch 및 다중 채널 변형 등의 접근법을 포함하고 MNIST 및 CIFAR-10 데이터셋에 적용한다.

실험 결과

연구 질문

• RQ1 inter-domain inducing points를 통해 convolutional 커널을 Gaussian processes에 내재화하여 이미지에 대한 패치 기반 추론을 확장 가능하게 할 수 있는가?
• RQ2 translation-invariant, weighted, color-aware 등의 컨볼루션 커널 변형이 MNIST와 CIFAR-10과 같은 표준 이미지 벤치마크에서 어떻게 비교되는가?
• RQ3 주요 가능도가 컨볼루션 구조와 비컨볼루션 구성요소(RBF 등)의 균형을 효과적으로 조정하여 예측 성능을 향상시키는가?
• RQ4 컨볼루션 GP 커널에서 inter-domain inducing 변수와 표준 inducing 포인트를 사용할 때의 트레이드-오프는 무엇인가?

주요 결과

• 패치 공간 inducing 포인트를 가진 변환 불변(convolutional) GP는 MNIST에서 RBF 기준보다 더 적은 inducing 포인트로도 경쟁력 있는 성능을 보인다.
• 가중 컨볼루션 커널은 MNIST 오류를 1.22% (NLPP 0.048)로 크게 개선시키며, 이는 RBF의 1.90% (NLPP 0.068)에 비해 우수하다.
• 가중 컨볼루션 및 RBF 구성요소의 조합은 MNIST 오류를 추가로 1.17% (NLPP 0.039)로 낮춘다.
• 전체 MNIST에서 가중 컨볼루션 커널은 변환 불변 및 RBF 커널보다 우수하며, 혼합 모델이 가장 좋은 NLPP와 낮은 오류를 달성한다.
• CIFAR-10에서 다중 채널 컨볼루션 커널은 RBF에 비해 테스트 오차를 크게 개선하여 35.4% 대 48.6%를 달성한다.
• CIFAR-10 결과는 색상 상호 작용이 모델링될 때 컨볼루션 구조가 상당한 이점을 제공함을 시사한다.