[論文レビュー] Deep learning with differential Gaussian process flows

Pashupati Hegde, Markus Heinonen+2 more|Research Explorer (The University of Manchester)|Oct 9, 2018

Gaussian Processes and Bayesian Inference被引用数 22

ひとこと要約

本稿では、入力空間における確率的微分方程式（SDE）を用いてデータ変換をモデル化する、連続時間の深層学習フレームワーク「Differential Gaussian Process Flowsを用いた深層学習」を提案する。無限に深い、無限に小さな流れによって入力を変形することで、回帰および分類において最先端の性能を達成し、インダクションパラメータの数を減らしながら、深層ガウス過程やニューラルネットワークを上回る性能を発揮する。

ABSTRACT

We propose a novel deep learning paradigm of differential flows that learn a stochastic differential equation transformations of inputs prior to a standard classification or regression function. The key property of differential Gaussian processes is the warping of inputs through infinitely deep, but infinitesimal, differential fields, that generalise discrete layers into a dynamical system. We demonstrate state-of-the-art results that exceed the performance of deep Gaussian processes and neural networks

研究の動機と目的

• 離散層の深層ネットワークの限界と深層ガウス過程における劣化の問題を解消するため、変換を連続的フローとしてモデル化すること。
• 中間の潜在表現を学習せずに、元の特徴空間における柔軟で非線形な入力ワープを可能にすること。
• 拡散を用いた原理的な正則化により、確率的微分方程式を用いてモデル容量と一般化性能を向上させること。
• 深層ガウス過程と比較してパラメータ数を削減しつつ、性能を維持または上回ること。
• フローに沿った変換経路の明示的解析を可能にすることで、より解釈可能な深層学習フレームワークを提供すること。

提案手法

• 本手法は、入力空間における連続的で滑らかで微分可能なフローを定義する確率的微分方程式（SDE）を用いて入力変換をモデル化する。
• 各データポイントは、ドリフト項と拡散項を持つSDEに従う連続的な経路に沿って変換され、無限に深い無限小の変換が可能になる。
• SDEは、空間的および時間的両方の誘導点を用いたスパースガウス過程によって近似され、効率的な推論が可能になる。
• SDEのドリフト項および拡散項をパrameterizeするため、時間的および空間的誘導点を備えた連続時間のフローを用いる。
• 事後分布は変分推論を用いて近似され、構造的変分分布を用いて周辺尤度の下界を最小化する。
• 本フレームワークは非時系列および時系列拡張をサポートし、より長い統合時間によりモデル容量を向上させることができる。

実験結果

リサーチクエスチョン

• RQ1 SDEを用いて連続時間のフローをモデル化することで、離散層の深層ネットワークを上回る予測性能を達成できるか？
• RQ2 SDEを用いて入力空間そのものに変換を直接モデル化することで、潜在空間モデルと比較して一般化性能が向上し、過学習が軽減されるか？
• RQ3 SDEを用いた原理的なベイズ的手法により、深層ガウス過程よりも少ないパラメータで最先端の結果を達成できるか？
• RQ4 フロー時間（統合時間）を延長することで、モデル容量と性能にどのような影響を与えるか？
• RQ5 連続的フローのフレームワークにより、個々のデータポイントの変換経路を追跡することで、解釈可能な意思決定経路を実現できるか？

主な発見

• HIGGSおよびSUSY UCI分類ベンチマークにおいて、提案手法のDiffGPはそれぞれAUCスコア0.878および0.842を達成し、DGPおよびDNNの報告済み最高結果と同等またはそれを上回った。
• Protein回帰データセットにおいて、本手法は最先端の性能を達成し、DGPを上回る結果を示し、長距離相関の強力なモデル化を示唆した。
• フロー時間を1から10に延長することで、テスト誤差と尤度が著しく向上し、T=10付近で性能が飽和することが示され、容量の制御された拡大が可能であることがわかった。
• ConcreteおよびEnergyを含む複数の回帰ベンチマークにおいて、DGPよりも少ない誘導パラメータ数で本手法が優れた性能を示した。
• 時系列拡張により、HIGGSではAUC 0.878、SUSYではAUC 0.846を達成し、より効率的なパrameterizationでDGPの最良結果を再現した。
• WineやEnergyのような小規模データセットにおいても、浅いGPsが最適な場合でも、本手法は強力な性能を維持しており、増大したモデル容量にもかかわらず過学習を示さないことがわかった。