[論文レビュー] Probabilistic Deep Learning using Random Sum-Product Networks

Robert Peharz, Antonio Vergari+5 more|arXiv (Cornell University)|Sep 5, 2018

Adversarial Robustness in Machine Learning参考文献 31被引用数 13

ひとこと要約

この論文は、効率性と解釈可能性を兼ね備えた和積ネットワーク（SPN）と、深層学習の訓練の柔軟性を組み合わせた、新しい確率的深層学習フレームワーク、RAT-SPNsを紹介する。確率的勾配降下法と自動微分を用いて訓練されるランダムなSPN構造により、RAT-SPNsは深層学習並みの性能を達成しながら、正確な尤度計算、適切にキャリブレーションされた不確実性、欠損特徴量や外れ値に対して強いロバスト性を維持する。

ABSTRACT

The need for consistent treatment of uncertainty has recently triggered increased interest in probabilistic deep learning methods. However, most current approaches have severe limitations when it comes to inference, since many of these models do not even permit to evaluate exact data likelihoods. Sum-product networks (SPNs), on the other hand, are an excellent architecture in that regard, as they allow to efficiently evaluate likelihoods, as well as arbitrary marginalization and conditioning tasks. Nevertheless, SPNs have not been fully explored as serious deep learning models, likely due to their special structural requirements, which complicate learning. In this paper, we make a drastic simplification and use random SPN structures which are trained in a classical deep learning manner, i.e. employing automatic differentiation, SGD, and GPU support. The resulting models, called RAT-SPNs, yield prediction results comparable to deep neural networks, while still being interpretable as generative model and maintaining well-calibrated uncertainties. This property makes them highly robust under missing input features and enables them to naturally detect outliers and peculiar samples.

研究の動機と目的

• 推論中に正確な尤度を計算できない既存の確率的深層学習モデルの限界を解消すること。
• 従来のSPNの構造的硬直性がスケーラブルな訓練を妨げ、深層学習モデルとしての採用を制限する問題を克服すること。
• 自動微分やSGDといった標準的な深層学習ツールを用いて、SPNに類似したアーキテクチャのエンドツーエンド訓練を可能にすること。
• 深層ニューラルネットワークと同等の性能を達成しつつも、SPNが持つ生成的解釈可能性と不確実性のキャリブレーションを維持すること。
• 欠損入力特徴量下でもモデルのロバスト性を高め、外れ値検出能力を向上させること。

提案手法

• 論文は、SPN構造をランダムに初期化し、標準的な深層学習最適化手法を用いて訓練するランダム和積ネットワーク（RAT-SPNs）を提案する。
• RAT-SPNsは自動微分と確率的勾配降下法（SGD）を用いて、GPU加速ハードウェア上でエンドツーエンド訓練を行う。
• アーキテクチャはランダム構造を用いることで学習プロセスを簡素化し、従来のSPNで一般的な複雑な構造的制約の必要性を回避する。
• モデルは、効率的な正確な推論（マージナル化や条件付き推論を含む）という、SPNの重要な性質を維持する。
• ランダム初期化により、スケーラブルな訓練が可能になるとともに、正確なデータ尤度の計算能力を保持する。
• 生成的モデリングと判別的訓練を統合することで、不確実性推定と高い予測精度の両方を実現する。

実験結果

リサーチクエスチョン

• RQ1 SGD や自動微分といった標準的な深層学習最適化手法を用いて、SPNを効果的に訓練できるか？
• RQ2 ランダムなSPN構造は、スケーラブルな訓練を可能にしつつも、正確な尤度計算と効率的な推論を維持できるか？
• RQ3 予測精度の観点で、RAT-SPNsは標準的な深層ニューラルネットワークと比べてどの程度の性能を示すか？
• RQ4 RAT-SPNsは、欠損入力特徴量下でも、どの程度適切にキャリブレーションされた不確実性を維持できるか？
• RQ5 生成的性質に起因して、RAT-SPNsは外れ値や異常なサンプルを自然に検出できるか？

主な発見

• RAT-SPNsはベンチマークタスクにおいて、標準的な深層ニューラルネットワークと同等の予測性能を達成する。
• モデルは正確なデータ尤度の計算を維持しており、原理的かつ整合的な確率的推論を可能にする。
• RAT-SPNsは適切にキャリブレーションされた不確実性推定を示し、実世界の展開において信頼性を高める。
• モデルは入力特徴量の欠損下でもロバストであり、データの破損下でも予測性能を維持する。
• 生成的モデリングの能力に起因して、RAT-SPNsは外れ値や異常なサンプルを自然に検出する。
• SPN構造と深層学習の訓練パイプラインの統合により、スケーラブルで解釈可能かつ不確実性を考慮したモデルが実現できる。