[論文レビュー] Translation Insensitivity for Deep Convolutional Gaussian Processes

Vincent Dutordoir, Mark van der Wilk+3 more|arXiv (Cornell University)|Feb 15, 2019

Gaussian Processes and Bayesian Inference参考文献 24被引用数 9

ひとこと要約

本論文は、入力の並進に対して出力制約がきついことによる性能制限を克服するため、深層畳み込みガウス過程（DCGP）に翻訳に敏感でない畳み込みカーネルを提案する。同じパッチ入力を用いた場合に同じ出力を生成する必要性を緩和することで、MNIST、Fashion-MNIST、CIFAR-10において、従来のGPモデルおよび標準的なDNNと比較して、精度と予測のキャリブレーションが向上する。

ABSTRACT

Deep learning has been at the foundation of large improvements in image classification. To improve the robustness of predictions, Bayesian approximations have been used to learn parameters in deep neural networks. We follow an alternative approach, by using Gaussian processes as building blocks for Bayesian deep learning models, which has recently become viable due to advances in inference for convolutional and deep structure. We investigate deep convolutional Gaussian processes, and identify a problem that holds back current performance. To remedy the issue, we introduce a translation insensitive convolutional kernel, which removes the restriction of requiring identical outputs for identical patch inputs. We show empirically that this convolutional kernel improves performances in both shallow and deep models. On MNIST, FASHION-MNIST and CIFAR-10 we improve previous GP models in terms of accuracy, with the addition of having more calibrated predictive probabilities than simple DNN models.

研究の動機と目的

• 入力パッチの並進に対してきつい出力制約が生じる深層畳み込みガウス過程における性能ボトルネックを解消すること。
• 同一のパッチ入力であっても、空間的にずれた入力に対して異なる出力を生成できるカーネルを設計し、より良い特徴表現を可能にすること。
• ガウス過程を構築ブロックとして用いるベイジアンディープラーニングモデルにおける予測精度とキャリブレーションを向上させること。
• 提案されたカーネルが、標準的な視覚ベンチマークにおいて浅い構造および深い構造の両方で有効であることを示すこと。

提案手法

• 同じパッチが入力空間内で並進されても同じ出力を生成する必要がないようにする、新しい畳み込みカーネル設計を提案する。
• カーネル関数に並進に敏感でないインダクティブバイアスを組み込み、空間的にずれたパッチが異なる出力を生成できるようにする。
• ベイジアンの不確実性推定を維持しながら表現の柔軟性を向上させるために、このカーネルを深層ガウス過程フレームワークに統合する。
• 画像分類タスクにスケーラブルにするために、ガウス過程回帰に適応した標準的なディープラーニング推論技術を採用する。
• モデルの深さにかかわらず一般化性能を評価するために、浅い構造および深い構造の両方でカーネルを適用する。
• 深層および畳み込みガウス過程における推論の既存の進展を活用し、画像データに対して実用的なモデルとする。

実験結果

リサーチクエスチョン

• RQ1 標準的な畳み込みカーネルが、入力パッチの並進に対してきつい出力制約を課えることで、深層畳み込みガウス過程の性能にどのような制限を及えるか？
• RQ2 並進に敏感でないカーネルは、画像分類タスクにおける予測精度と不確実性キャリブレーションを向上させることができるか？
• RQ3 提案されたカーネルは、MNIST、Fashion-MNIST、CIFAR-10 などの異なるデータセットおよび異なるモデルの深さに一般化可能か？
• RQ4 精度とキャリブレーションの観点から、新しいカーネルは標準的なディープニューラルネットワークおよび従来のGPベースのモデルと比較してどのように性能を発揮するか？

主な発見

• 提案された並進に敏感でない畳み込みカーネルは、従来の深層ガウス過程モデルと比較して、MNIST、Fashion-MNIST、CIFAR-10 における分類精度を向上させる。
• 標準的なディープニューラルネットワークよりもよりキャリブレーションの良い予測確率を達成しており、不確実性推定の向上を示している。
• 浅い構造および深い構造の両方で改善が観察され、本手法のスケーラビリティと頑健性が裏付けられている。
• 同一のパッチが同じ出力を生成しなければならないという制約が効果的に排除され、より柔軟で表現力に富んだ特徴学習が可能になった。