[논문 리뷰] Deep Gaussian Processes with Convolutional Kernels

Vinayak Kumar, Vaibhav Singh외 2명|arXiv (Cornell University)|2018. 06. 05.

Gaussian Processes and Bayesian Inference참고 문헌 22인용 수 24

한 줄 요약

이 논문은 이미지의 공간적 계층적 구조를 포착하기 위해 컨볼루션 커널을 딥 가우시안 프로세스에 통합한 베이지안 비모수 모델인 컨볼루션 딥 가우시안 프로세스(CDGP)를 제안한다. 표준 RBF 커널 대신 컨볼루션 커널을 사용함으로써, MNIST, CIFAR10, Caltech101 등의 이미지 분류 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 표준 DGP 기준선 대비 10%의 정확도 향상을 기록하고, 무작위 패치 서브샘플링을 통해 10배 빠른 속도 향상을 이룬다.

ABSTRACT

Deep Gaussian processes (DGPs) provide a Bayesian non-parametric alternative to standard parametric deep learning models. A DGP is formed by stacking multiple GPs resulting in a well-regularized composition of functions. The Bayesian framework that equips the model with attractive properties, such as implicit capacity control and predictive uncertainty, makes it at the same time challenging to combine with a convolutional structure. This has hindered the application of DGPs in computer vision tasks, an area where deep parametric models (i.e. CNNs) have made breakthroughs. Standard kernels used in DGPs such as radial basis functions (RBFs) are insufficient for handling pixel variability in raw images. In this paper, we build on the recent convolutional GP to develop Convolutional DGP (CDGP) models which effectively capture image level features through the use of convolution kernels, therefore opening up the way for applying DGPs to computer vision tasks. Our model learns local spatial influence and outperforms strong GP based baselines on multi-class image classification. We also consider various constructions of convolution kernel over the image patches, analyze the computational trade-offs and provide an efficient framework for convolutional DGP models. The experimental results on image data such as MNIST, rectangles-image, CIFAR10 and Caltech101 demonstrate the effectiveness of the proposed approaches.

연구 동기 및 목표

• 표준 딥 가우시안 프로세스(DGPs)의 컴퓨터 비전 분야에서의 한계를 해결하기 위해 RBF 커널을 컨볼루션 커널로 대체하여 이미지 수준의 공간적 구조를 더 잘 모델링하고자 한다.
• 이동, 조명, 자세 변화와 같은 이미지 변환에 대해 RBF 커널의 열악한 불변성 문제를 해결하고자 한다.
• 완전히 비모수적이고 계층적인 모델을 개발하여 스택형 컨볼루션 커널을 통해 분류 가능한 특징을 학습하면서도 베이지안 불확실성 추정을 유지하고자 한다.
• 이미지 패치의 무작위 서브샘플링을 통해 컨볼루션 커널 계산의 계산 효율성을 향상시켜 정확도 손실 없이 훈련 시간을 크게 단축하고자 한다.
• 다양한 벤치마크 데이터셋에서 CDGP의 유효성을 입증하여 얕은 GP 및 표준 DGP 모델 대비 뛰어난 일반화 성능을 보여주고자 한다.

제안 방법

• 이전에 단일 레이어 GP에서 사용된 컨볼루션 커널을 딥 GP 프레임워크에 통합하여 다중 레이어 간의 계층적 특징 학습을 가능하게 한다.
• 특징의 분류 능력을 향상시키고 모델 용량을 증가시키기 위해 가중치가 부여된 컨볼루션 커널을 사용한다.
• 다양한 레이어에서 컨볼루션 커널과 RBF 커널을 조합하여 하이브리드 DGP 아키텍처를 구성함으로써 최적의 불변성과 표현적 깊이를 탐색한다.
• 모델 스케일링을 위해 이중 스토하스틱 접근법을 사용하는 변분 추론을 적용하고, 미니배치와 확률적 경량 최적화를 통해 최적화를 수행한다.
• 커널 계산 중에 이미지 패치의 무작위 서브샘플링을 구현하여 계산 비용을 감소시키며, 정확도 저하 없이 높은 정확도를 유지한다.
• GPU에서 200 에포크 동안 미니배치 크기 40으로 ADAM 최적화기를 사용하여 대규모 이미지 데이터셋의 효율적 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준 RBF 기반 DGPs에 비해 컨볼루션 커널을 딥 가우시안 프로세스에 효과적으로 통합함으로써 이미지 분류 작업에서 성능 향상을 이룰 수 있는가?
• RQ2 RBF 커널에 비해 컨볼루션 커널은 이동 및 조명 변화와 같은 이미지 변환에 대해 어떻게 더 뛰어난 불변성을 제공하는가?
• RQ3 컨볼루션 커널 계산에서 전체 패치 대비 서브샘플링된 패치를 사용할 경우의 계산적 트레이드오프는 무엇이며, 서브샘플링이 훈련 시간을 크게 단축하면서도 정확도를 유지할 수 있는가?
• RQ4 DGP 아키텍처에서 컨볼루션 및 RBF 커널을 더 깊이 스택할 경우 성능 향상이 이루어지는가, 아니면 얕은 구조만으로도 높은 정확도를 달성할 수 있는가?
• RQ5 기존의 GP 기반 및 하이브리드 CNN-GP 모델 대비 제안된 CDGP 모델은 표준 이미지 벤치마크에서 성능과 효율성 측면에서 어떻게 비교되는가?

주요 결과

• CDGP 모델은 CIFAR10 데이터셋에서 RBF 기반 표준 DGP 모델 대비 10%의 성능 향상을 기록하며, 이미지 수준의 특징을 효과적으로 포착하고 있음을 입증한다.
• 이미지 패치의 무작위 서브샘플링을 통해 훈련 시간을 약 10배 감소시켰다—CDGP1의 경우 1시간 15분으로 단축되었으며, Caltech101에서 테스트 정확도가 0.39% 뿐 하락하였다.
• 가장 높은 성능을 기록한 CDGP 모델(CDGP1, 모든 패치 사용)은 Caltech101에서 20.39%의 테스트 정확도를 달성하여 표준 DGP 및 얕은 GP 기준선을 모두 초월하였다.
• 더 깊은 CDGP 아키텍처(예: 3레이어)는 유의미한 성능 향상을 이끌어내지 못했으며, 이는 단일 컨볼루션 레이어(즉, CGP에 해당)만으로도 분류 작업에 충분한 모델 용량을 제공함을 시사한다.
• 모델의 성능는 이미지 해상도에 민감하게 반응하며, 50×50×3로 리사이징 시 정확도가 감소함을 확인하여, 향후 연구에서 원본 이미지 차원을 유지하는 것이 중요할 것으로 보인다.
• 패치 서브샘플링 덕분에 더 큰 미니배치 크기를 활용할 수 있어 확률적 경량 최적화의 분산이 감소함에 따라 효율적인 훈련이 가능해졌다.