[論文レビュー] Uncertainty Quantification in Deep Learning through Stochastic Maximum Principle.

Richard Archibald, Feng Bao+2 more|arXiv (Cornell University)|Nov 28, 2020

Stochastic Gradient Optimization Techniques参考文献 2被引用数 4

ひとこと要約

本論文は、確率的最適制御理論に裏打ちされた確率的ニューラルネットワークフレームワークを提案し、確率的最強原理を用いて効率的な確率的勾配降下法を導出する。この手法により、理論的収束保証と実世界の応用における実証的検証を伴う深層学習における不確実性の定量化が可能となる。

ABSTRACT

We develop a probabilistic machine learning method, which formulates a class of stochastic neural networks by a stochastic optimal control problem. An efficient stochastic gradient descent algorithm is introduced under the stochastic maximum principle framework. Convergence analysis for stochastic gradient descent optimization and numerical experiments for applications of stochastic neural networks are carried out to validate our methodology in both theory and performance.

研究の動機と目的

• 深層学習モデルにおける不確実性の定量化の課題に対処すること。
• 深層学習を原理的な不確実性推定のための確率的最適制御問題として定式化すること。
• 確率的最強原理に基づく効率的な最適化アルゴリズムの開発。
• 提案された確率的勾配降下法の理論的収束性の確立。
• 実世界の応用における数値実験を通じた手法の検証。

提案手法

• モデルパラメータの不確実性を組み込むために、深層ニューラルネットワークを確率的最適制御問題として定式化する。
• 最適性の必要条件を導出するために、確率的最強原理を適用し、勾配ベースの学習を可能にする。
• 導出された最適性条件を用いて、効率的な確率的勾配降下アルゴリズムを設計する。
• 不確実性を考慮したパラメータ更新を伴うエンドツーエンドの学習が可能となるフレームワーク。
• 標準的な確率的制御の仮定の下で、理論的収束分析を実施する。
• 性能と不確実性のキャリブレーションを評価するために、数値実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルをどのように系統的に確率的最適制御問題として定式化することで、不確実性を定量化できるか？
• RQ2 確率的最強原理から導出可能な、このようなモデルの学習に適した効率的な最適化アルゴリズムは何か？
• RQ3 標準的な仮定の下で、提案された確率的勾配降下法は収束するか？
• RQ4 ベースラインの不確 Promise 定量化手法と比較して、実際の応用でどの程度の性能を示すか？
• RQ5 実世界の深層学習タスクに、信頼性のある不確実性推定を伴って効果的に適用できるか？

主な発見

• 提案された確率的ニューラルネットワークフレームワークは、確率的最適制御を介して、深層学習に不確実性の定量化を効果的に統合した。
• 確率的最強原理から導出された確率的勾配降下法は、理論的収束性を示した。
• 数値実験により、実用的応用において信頼性のある不確実性推定を伴う手法の有効性が確認された。
• 従来の深層学習における不確実性定量化手法に対する原理的代替手段を提供する。
• エンドツーエンドの学習が可能で、不確実性を考慮した最適化により、モデルのロバストネスが向上した。
• 実証的結果から、不確実性キャリブレーションおよび予測精度において競争力のある性能が示された。