[論文レビュー] Improving Output Uncertainty Estimation and Generalization in Deep Learning via Neural Network Gaussian Processes

Tomoharu Iwata, Zoubin Ghahramani|arXiv (Cornell University)|Jul 19, 2017

Gaussian Processes and Bayesian Inference被引用数 36

ひとこと要約

本稿では、深層ニューラルネットワーク（DNNs）をガウス過程（GPs）の平均関数として用いることで、DNNとGPをハイブリッド化したモデルを提案する。これにより、正確な出力の不確実性推定と一般化性能の向上が可能になる。本手法はスケーラブルな学習を実現するため、確率的変分ベイズ推論と確率的勾配降下法を採用し、実世界の時空間データセットにおいて、単独のDNNやGPと比較して不確実性のキャリブレーションと予測精度の両面で優れた性能を発揮する。

ABSTRACT

We propose a simple method that combines neural networks and Gaussian processes. The proposed method can estimate the uncertainty of outputs and flexibly adjust target functions where training data exist, which are advantages of Gaussian processes. The proposed method can also achieve high generalization performance for unseen input configurations, which is an advantage of neural networks. With the proposed method, neural networks are used for the mean functions of Gaussian processes. We present a scalable stochastic inference procedure, where sparse Gaussian processes are inferred by stochastic variational inference, and the parameters of neural networks and kernels are estimated by stochastic gradient descent methods, simultaneously. We use two real-world spatio-temporal data sets to demonstrate experimentally that the proposed method achieves better uncertainty estimation and generalization performance than neural networks and Gaussian processes.

研究の動機と目的

• 安全性が求められるアプリケーションでの利用を制限する、深層ニューラルネットワークにおける信頼性のある出力不確実性推定の欠如を解消すること。
• データがスパースな領域におけるガウス過程の一般化性能の低さを、深層ニューラルネットワークの表現力の活用によって克服すること。
• 正確なGP推論が不可能な大規模データセットへの適用を可能にする、スケーラブルな推論手順の開発。
• ディープラーニングの特徴（未学習入力への一般化性能）とガウス過程の特徴（柔軟な局所的補間と不確実性の定量化）を統合すること。
• 実験的に、単独のDNNやGPと比較して、本ハイブリッドモデルが不確実性推定および点予測の両面で優れた性能を発揮することを示すこと。

提案手法

• 提案手法は、ガウス過程の平均関数として深層ニューラルネットワークを用いることで、柔軟でデータ駆動の平均予測を可能にする。
• 非線形関数にガウス過程の事前分布を設定することで、予測のベイズ推論と不確実性の定量化を可能にする。
• 計算複雑性を低減するため、インダクションポイントを用いたスパースガウス過程を採用し、大規模データセットへのスケーラビリティを実現する。
• 後部分布の近似のため、確率的変分ベイズ推論を適用し、ミニバッチ学習を可能にする。
• パラメータとカーネルハイパーパrameterの両方を同時に最適化するために、確率的勾配降下法を用いる。
• GP推論とDNN部の両方をバックプロパゲーションで端末から端末まで最適化できるエンドツーエンド学習をサポートする。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークをガウス過程の平均関数として効果的に用いることで、不確実性推定が向上するか？
• RQ2 深層ニューラルネットワークの表現力とガウス過程の不確実性定量化の特徴を組み合わせることで、未学習データに対する一般化性能が向上するか？
• RQ3 このようなハイブリッドモデルの大規模学習を可能にする、スケーラブルな推論手順を開発できるか？
• RQ4 予測精度と不確実性キャリブレーションの観点から、本手法は単独のDNNやGPと比較してどのように優れているか？
• RQ5 モデルアーキテクチャ、カーネル選択、インダクションポイント数の選択が性能に与える影響は何か？

主な発見

• USHCNデータセットでは、全欠損データ状況において、本手法が最小のテスト平均二乗誤差（0.041）を達成し、GP（0.054）とNN（0.048）のベースラインを上回った。
• CCデータセットでは、本手法が最良の不確実性キャリブレーションを達成し、95％信頼水準での平均カバレッジが0.355（GP：0.412、NN：0.364）を記録した。
• USHCNデータセットにおける90％欠損データ下で、本手法はGPに比べて平均二乗誤差を最大25％、NNに比べて15％削減した。
• データがスパースな領域でも、本手法は高い不確実性キャリブレーションを維持した。CCデータセット（80％欠損データ）では、95％予測区間が真の値の93.8％をカバーした。
• 計算時間についても競争力があり、USHCNデータセットにおける95％欠損データ下での実行時間は1374秒（GP：1854秒、NN：226秒）であった。
• 本手法は欠損データに対して頑健であり、両データセットにおいて50％、80％、95％の欠損レベルすべてで一貫した性能を示した。