[논문 리뷰] Calibrating Deep Convolutional Gaussian Processes

Gia-Lac Tran, Edwin V. Bonilla외 3명|arXiv (Cornell University)|2018. 05. 26.

Gaussian Processes and Bayesian Inference참고 문헌 24인용 수 14

한 줄 요약

이 논문은 랜덤 특징을 통한 근사화된 가우시안 프로세스 레이어를 갖춘 새로운 딥 컨volution 신경망(cnn+gp(rf))을 제안하며, 상태최저 수준의 이미지 분류 성능를 달성하면서도 잘 校정된 성능을 보인다. 변분 추론과 몬테카를로 드롭아웃을 조합함으로써 신뢰할 수 있는 불확실성 정량화를 보장하며, 이는 이전의 CNN-GP 하이브리드 모델을 능가하고 일부 표준 CNN보다도 정확도가 높으면서도 校정 성능을 희생시키지 않는다.

ABSTRACT

The wide adoption of Convolutional Neural Networks (CNNs) in applications where decision-making under uncertainty is fundamental, has brought a great deal of attention to the ability of these models to accurately quantify the uncertainty in their predictions. Previous work on combining CNNs with Gaussian processes (GPs) has been developed under the assumption that the predictive probabilities of these models are well-calibrated. In this paper we show that, in fact, current combinations of CNNs and GPs are miscalibrated. We proposes a novel combination that considerably outperforms previous approaches on this aspect, while achieving state-of-the-art performance on image classification tasks.

연구 동기 및 목표

• 기존의 CNN-Gaussian 프로세스 조합의 校정 성질을 조사한다. 이는 베이지안 성격을 지니고 있음에도 불구하고 일반적으로 잘 校정된 것으로 간주되지만, 실제로는 校정되지 않은 것으로 밝혀졌다.
• 높은 정확도를 유지하면서도 예측 확률이 잘 校정된 방식으로 CNN과 GP 레이어를 통합하는 새로운 딥 러닝 아키텍처를 개발한다.
• 작은 배치 업데이트와 GPU 가속을 통해 스케일러블하고 종단 간 훈련이 가능한 모델을 구현하여 실세계 응용에 실용적으로 활용할 수 있도록 한다.
• 변분 근사와 드롭아웃을 통한 베이지안 추론이 성능을 훼손시키지 않으면서도 校정 성능을 향상시킨다.

제안 방법

• CNN의 완전 연결 레이어를 랜덤 특징을 활용한 근사화된 가우시안 프로세스로 대체하여 효율적이고 스케일러블한 추론을 가능하게 한다.
• 몬테카를로 드롭아웃을 변분 추론의 근사화 방법으로 사용하여 CNN 필터와 GP 파라미터를 종단 간(end-to-end)으로 동시에 훈련한다.
• 랜덤 특징을 통한 GP 근사화와 베이지안 딥 네트워크 간의 등가성을 활용하여 구현을 단순화한다.
• 더 깊은 아키텍처에서 구조화된 랜덤 특징을 적용하여 GP 근사화의 효율성과 압축성을 향상시킨다.
• 다중항 분포 likelihood와 베이지안 추론을 통한 정규화를 적용하여 잘 校정된 출력을 유도한다.
• 소형 배치 스토하스틱 최적화를 사용하여 CIFAR-10 및 CIFAR-100과 같은 대규모 데이터셋에서도 스케일러블한 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 기존의 CNN과 가우시안 프로세스 조합은 그들의 베이지안 성격에도 불구하고 잘 校정되어 있는가?
• RQ2 CNN-GP 하이브리드 모델을 설계하여 최신 기술 수준의 정확도와 함께 잘 校정된 불확실성 추정치를 달성할 수 있는가?
• RQ3 완전 연결 레이어를 랜덤 특징 근사화된 GP 레이어로 대체하면, 성능를 유지하면서도 校정 성능이 향상되는가?
• RQ4 모델의 깊이가 CNN-GP 하이브리드에서 校정 성능에 미치는 영향은 어떠한가? 정규화는 이를 완화할 수 있는가?
• RQ5 몬테카를로 드롭아웃을 사용하여 CNN 필터와 GP 파라미터에 대한 공동 추론을 스케일러블한 방식으로 수행할 수 있는가?

주요 결과

• 제안된 cnn+gp(rf) 모델은 데이터 증강 없이 CIFAR-10에서 약 89%의 정확도, CIFAR-100에서 약 75%의 정확도를 달성하며 이전의 CNN-GP 조합을 능가한다.
• 모델의 깊이가 증가함에 따라 예상 校정 오차(Expected Calibration Error, ECE)가 약 3% 수준으로 유지되어, 이전의 CNN-GP 방법보다 훨씬 우수한 校정 성능을 유지한다.
• 다중항 분포 likelihood와 베이지안 정규화를 적용함으로써 모델은 잘 校정되며, 이는 이전의 CNN-GP 하이브리드가 校정에 실패하는 것과는 대조된다.
• 외부 분포(out-of-distribution) 데이터(예: not-MNIST)에 대해 뛰어난 불확실성 추정 성능를 보이며, 기준 모델 대비 잘못된 클래스에 대해 더 높은 엔트로피를 나타낸다.
• 몬테카를로 드롭아웃은 CNN 필터와 GP 파라미터의 효과적인 공동 훈련을 가능하게 하여, 이 방법이 스케일러블하고 쉽게 구현 가능하게 한다.
• 구조화된 랜덤 특징을 사용한 깊은 가우시안 프로세스로 최종 레이어를 대체하면 성능이 향상되면서도 校정 성능는 유지된다.