[論文レビュー] Calibrating Deep Convolutional Gaussian Processes

Gia-Lac Tran, Edwin V. Bonilla+3 more|arXiv (Cornell University)|May 26, 2018

Gaussian Processes and Bayesian Inference参考文献 24被引用数 14

ひとこと要約

本論文は、ランダム特徴による近似を用いたガウス過程層を備えた新しい深層畳み込みニューラルネットワーク（cnn+gp(rf)）を提案する。このモデルは、良好にキャリブレートされた予測を実現しつつ、画像分類性能において最先端の水準に達している。変分推論とモンテカルロドロップアウトを組み合わせることで、信頼性の高い不確実性評価が可能となり、従来のCNN-GPハイブリッドモデルを上回り、一部の標準的なCNNでさえも性能を上回っているにもかかわらずキャリブレーションを損なわない。

ABSTRACT

The wide adoption of Convolutional Neural Networks (CNNs) in applications where decision-making under uncertainty is fundamental, has brought a great deal of attention to the ability of these models to accurately quantify the uncertainty in their predictions. Previous work on combining CNNs with Gaussian processes (GPs) has been developed under the assumption that the predictive probabilities of these models are well-calibrated. In this paper we show that, in fact, current combinations of CNNs and GPs are miscalibrated. We proposes a novel combination that considerably outperforms previous approaches on this aspect, while achieving state-of-the-art performance on image classification tasks.

研究の動機と目的

• 既存のCNN-ガウス過程組み合わせのキャリブレーション特性を調査すること。これらはしばしばベイジアン性を有するが、実際にはキャリブレーションが不十分であることが示されている。
• 高い精度を維持しつつ、予測確率が良好にキャリブレートされるような、CNNとGP層を組み合わせた新しい深層学習アーキテクチャの開発。
• ミニバッチ更新とGPU加速を活用したスケーラブルでエンドツーエンドの学習を可能にし、実世界の応用に実用的であることを実現。
• 変分近似とドロップアウトを用いたベイジアン推論が、性能を損なわずキャリブレーションを向上させることを示すこと。

提案手法

• CNNの全結合層をランダム特徴による近似を用いたガウス過程に置き換え、効率的でスケーラブルな推論を可能にする。
• モンテカルロドロップアウトを変分推論の近似として用い、CNNの重みとGPパラメータを同時にエンドツーエンドで学習。
• ランダム特徴によるGP近似とベイジアン深層ニューラルネットワークとの等価性を活用し、実装を簡素化。
• より深いアーキテクチャにおいて構造的ランダム特徴を適用し、GP近似の効率性とコンパクト性を向上。
• 多項分布尤度とベイジアン推論による正則化を適用し、良好にキャリブレートされた出力を促進。
• ミニバッチ確率的最適化を用いてモデルを学習し、CIFAR-10やCIFAR-100といった大規模データセットへのスケーラビリティを実現。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン性を持つにもかかわらず、既存のCNNとガウス過程の組み合わせは、実際に良好にキャリブレートされているのだろうか？
• RQ2 CNN-GPハイブリッドモデルを設計することで、最先端の精度と良好にキャリブレートされた不確実性推定を両立させられるだろうか？
• RQ3 全結合層をランダム特徴による近似を用いたGP層に置き換えることで、性能を維持しつつキャリブレーションが向上するのだろうか？
• RQ4 モデルの深さがCNN-GPハイブリッドにおけるキャリブレーションに与える影響は何か？また、正則化によってその影響を緩和できるか？
• RQ5 モンテカルロドロップアウトを用いることで、CNNの重みとGPパラメータをスケーラブルに同時に推論できるのだろうか？

主な発見

• 提案されたcnn+gp(rf)モデルは、データオーグメンテーションなしでCIFAR-10で約89%、CIFAR-100で約75%の精度を達成し、従来のCNN-GP組み合わせを上回っている。
• モデルの深さを増やしても、期待キャリブレーション誤差（ECE）が約3%程度に保たれ、従来のCNN-GP手法と比べて顕著に優れている。
• 多項分布尤度とベイジアン正則化の活用により、モデルは良好にキャリブレートされている。これに対して、従来のCNN-GPハイブリッドモデルはキャリブレーションが不十分であることが示された。
• 分布外データ（例：not-MNIST）において、不確実性推定が優れている。誤分類クラスに対して、ベースライン手法よりも高いエントロピーを示している。
• モンテカルロドロップアウトにより、CNNの重みとGPパラメータの効果的な同時学習が可能となり、スケーラブルかつ実装が容易な手法が実現された。
• 最終層を構造的ランダム特徴を用いたディープガウス過程に置き換えることで、性能がさらに向上し、キャリブレーションも維持された。