[論文レビュー] Reliable training and estimation of variance networks

Nicki Skafte, Martin Jørgensen+1 more|arXiv (Cornell University)|Jan 1, 2019

Gaussian Processes and Bayesian Inference被引用数 18

ひとこと要約

本稿では、回帰ニューラルネットワークにおける予測分散の訓練および推定のための補完的手法を提案する。これには、スパースで頑健な勾配を生成する局所的に注意を払うミニバッチ化スキームと、分散ネットワークに対するバイアスのない重み更新が含まれる。さらに、後処理によるフィッティングヒューリスティクスと、ガウス過程にインspiredされた新規アーキテクチャを導入し、最先端のベースラインと比較して、回帰、アクティブラーニング、生成モデリングのタスクにおいて、不確実性推定が顕著に向上する。

ABSTRACT

We propose and investigate new complementary methodologies for estimating predictive variance networks in regression neural networks. We derive a locally aware mini-batching scheme that results in sparse robust gradients, and we show how to make unbiased weight updates to a variance network. Further, we formulate a heuristic for robustly fitting both the mean and variance networks post hoc. Finally, we take inspiration from posterior Gaussian processes and propose a network architecture with similar extrapolation properties to Gaussian processes. The proposed methodologies are complementary, and improve upon baseline methods individually. Experimentally, we investigate the impact of predictive uncertainty on multiple datasets and tasks ranging from regression, active learning and generative modeling. Experiments consistently show significant improvements in predictive uncertainty estimation over state-of-the-art methods across tasks and datasets.

研究の動機と目的

• 深層回帰モデルにおける信頼性の高い予測不確実性推定の課題に取り組む。
• 分散ネットワークへの安定的かつバイアスのない更新を可能にする訓練手法を開発する。
• 回帰、アクティブラーニング、生成モデリングなど多様なタスクにおける不確実性のキャリブレーションを向上させる。
• ガウス過程と同様の外挿特性を有するニューラルネットワークアーキテクチャを設計する。
• 既存の最先端手法を上回る不確実性推定を向上させる補完的技術を提供する。

提案手法

• 分散ネットワークの訓練に向け、スパースで頑健な勾配を生成する局所的に注意を払うミニバッチ化スキームを導入する。
• 分散ネットワークへのバイアスのない重み更新手法を開発し、安定した最適化を保証する。
• 初期訓練後に平均および分散ネットワークのキャリブレーションを頑健に改善するための後処理フィッティングヒューリスティクスを提案する。
• 一般化および不確実性の外挿性能を向上させるために、事後ガウス過程にインspiredされた新規ニューラルネットワークアーキテクチャを設計する。
• すべての要素を統合したフレームワークを構築し、予測不確実性推定を強化する。
• 複数のデータセットおよびタスクにおける実験的検証を通じて、頑健性および性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 予測分散ネットワークを、安定的かつバイアスのない勾配更新で信頼性高く訓練するにはどうすればよいか？
• RQ2 提案された局所的に注意を払うミニバッチ化スキームは、勾配品質および訓練安定性をどの程度向上させるか？
• RQ3 後処理によるフィッティング手順は、多様なタスクにおいて平均および分散予測のキャリブレーションを効果的に改善できるか？
• RQ4 提案されたアーキテクチャ的選択は、標準的なニューラルネットワークと比較して、不確実性の外挿性能をどのように向上させるか？
• RQ5 提案手法の組み合わせは、回帰、アクティブラーニング、生成モデリングの全分野において、一貫した不確実性推定の向上をもたらすか？

主な発見

• 提案された局所的に注意を払うミニバッチ化スキームは、標準的手法と比較して、顕著にスパースで頑健な勾配を生成する。
• 分散ネットワークへのバイアスのない重み更新は、より安定的で信頼性の高い訓練ダイナミクスをもたらす。
• 後処理フィッティングヒューリスティクスは、複数のデータセットにおいて平均および分散予測のキャリブレーションを効果的に改善する。
• GPインスパイアドネットワークアーキテクチャは、ガウス過程の不確実性パターンに類似した改善された外挿行動を示す。
• 実験では、全評価タスクおよびデータセットにおいて、最先端手法と比較して一貫した顕著な予測不確実性推定の向上が確認された。
• 提案手法の補完的性質が相乗効果をもたらし、個々のコンponentsやベースラインモデルを上回る性能を達成した。