[論文レビュー] NOMU: Neural Optimization-based Model Uncertainty

Jakob Heiss, Jakob Weissteiner+3 more|Zurich Open Repository and Archive (University of Zurich)|Feb 26, 2021

Adversarial Robustness in Machine Learning参考文献 40被引用数 5

ひとこと要約

NOMU は、予測ヘッドと専用の不確実性ヘッドを同時に学習するためのカスタム損失関数を用いて、信頼できる不確実性評価のための5つの主要な望ましい性質を満たす、新しいニューラルネットワークアーキテクチャである。回帰およびノイズレスのベイズ最適化において、MC Dropout や Deep Ensembles や Hyper-Deep Ensembles よりも優れている。特に、不確実性のキャリブレーションが重要となる低データ、低ノイズの設定で顕著な性能を発揮する。

ABSTRACT

We study methods for estimating model uncertainty for neural networks (NNs) in regression. To isolate the effect of model uncertainty, we focus on a noiseless setting with scarce training data. We introduce five important desiderata regarding model uncertainty that any method should satisfy. However, we find that established benchmarks often fail to reliably capture some of these desiderata, even those that are required by Bayesian theory. To address this, we introduce a new approach for capturing model uncertainty for NNs, which we call Neural Optimization-based Model Uncertainty (NOMU). The main idea of NOMU is to design a network architecture consisting of two connected sub-NNs, one for model prediction and one for model uncertainty, and to train it using a carefully-designed loss function. Importantly, our design enforces that NOMU satisfies our five desiderata. Due to its modular architecture, NOMU can provide model uncertainty for any given (previously trained) NN if given access to its training data. We evaluate NOMU in various regressions tasks and noiseless Bayesian optimization (BO) with costly evaluations. In regression, NOMU performs at least as well as state-of-the-art methods. In BO, NOMU even outperforms all considered benchmarks.

研究の動機と目的

• 低データ、ノイズレスの設定において、モデルの不確実性が支配的になる状況で、信頼できるニューラルネットワークの不確実性推定が不足している問題に対処すること。
• 不確実性の境界が満たすべき5つの基本的望ましい性質を特定・形式化すること。これには、訓練データ点での適切な挙動および外挿領域での挙動が含まれる。
• これらの望ましい性質を体系的かつ一貫して満たす手法を開発し、MC Dropout やアンサンブル手法のような既存手法の限界を克服すること。
• 任意の事前学習済みニューラルネットワークに適用可能なスケーラブルでモジュラーなソリューションを構築すること。学習データを用いて後から適用可能である。

提案手法

• NOMU は二重ヘッドのニューラルネットワークアーキテクチャを採用：1つのヘッドは予測、もう1つのヘッドは不確実性推定に使用。
• 不確実性ヘッドは原始的な不確実性スコアを出力し、それを可学習なリーディングマップ φ(z) = ℓ_max(1 − exp(−(max(0,z) + ℓ_min)/ℓ_max)) を通じて正の値かつ数値安定性を確保する。
• 5つの望ましい性質を強制するためのカスタム損失関数を設計。これには、観測済みデータポイントでの不確実性の収縮および分布外領域での適切なスケーリングが含まれる。
• エンドツーエンドで学習可能であり、任意の事前学習済みモデルにその学習データを用いて後から適用可能。
• リーディングマップのパラメータ ℓ_min および ℓ_max は安定性のため固定されるか、検証セット最適化により学習可能。

実験結果

リサーチクエスチョン

• RQ1 モデル不確実性推定の最先端手法が、訓練データポイントでの不確実性収縮といった根本的な望ましい性質を信頼性を持って満たしているか。
• RQ2 ベイジアン事後分布の近似に依存せずに、モデル不確実性の重要な性質を体系的に強制できるニューラルネットワークアーキテクチャを設計できるか。
• RQ3 低データ、ノイズレスの回帰タスクにおいて、NOMU は MC Dropout や Deep Ensembles や Hyper-Deep Ensembles よりも優れた性能を発揮するか。
• RQ4 高コストな評価が伴うベイズ最適化において、NOMU は正確な不確実性推定が不可欠であるため、性能向上をもたらすか。

主な発見

• NOMU は、訓練データポイントでの適切な不確実性収縮および分布外領域での適切なスケーリングを含む、5つの望ましい性質を一貫して満たす。
• MC Dropout とは異なり、NOMU の不確実性境界は観測済みデータポイントで収縮する。これにより、アクティブラーニングにおける性能を悪化させる「チューブ状の境界」を回避できる。
• 限られたノイズレスのデータを用いた回帰タスクにおいて、NOMU は最先端の手法と同等以上に性能を発揮し、より信頼性の高い不確実性キャリブレーションを実現する。
• ノイズレスのベイズ最適化において、NOMU は MC Dropout や Deep Ensembles や Hyper-Deep Ensembles よりも顕著に優れており、優れた探索効率を示す。
• NOMU のモジュラー設計により、任意の事前学習済みニューラルネットワークに適用可能であり、再学習を一切行わずに不確実性推定が可能になる。