[論文レビュー] Single-Model Uncertainties for Deep Learning

Nataša Tagasovska, David López-Paz|arXiv (Cornell University)|Nov 2, 2018

Adversarial Robustness in Machine Learning被引用数 80

ひとこと要約

本論文は、深層学習のための2つの単一モデル不確実性推定器を導入します：Simultaneous Quantile Regression (SQR) によるアレータリア不確実性と Orthonormal Certificates (OCs) によるエピステミック不確実性を、それぞれ扱い、アンサンブルや再訓練なしで競争力のある結果を達成します。

ABSTRACT

We provide single-model estimates of aleatoric and epistemic uncertainty for deep neural networks. To estimate aleatoric uncertainty, we propose Simultaneous Quantile Regression (SQR), a loss function to learn all the conditional quantiles of a given target variable. These quantiles can be used to compute well-calibrated prediction intervals. To estimate epistemic uncertainty, we propose Orthonormal Certificates (OCs), a collection of diverse non-constant functions that map all training samples to zero. These certificates map out-of-distribution examples to non-zero values, signaling epistemic uncertainty. Our uncertainty estimators are computationally attractive, as they do not require ensembling or retraining deep models, and achieve competitive performance.

研究の動機と目的

• 深層ニューラルネットワークにおけるアレータリア不確実性とエピステミック不確実性の単一モデル推定を提供する。
• アンサンブルや再訓練なしに予測区間を得るためのスケーラブルな方法を開発する。
• 提案手法を位置づけるために関連する不確実性推定手法の統一的な議論を提供する。

提案手法

• Simultaneous Quantile Regression (SQR) は、ランダム化ピンボール損失を最小化してすべての条件付き分位点を同時に学習し、非ガウス分布、歪み、ヘテロスケダスティックなアレータリア不確実性を可能にする。
• SQR は推定された分位点から予測区間を得る：u_a(x*) = f(x*,1−α/2) − f(x*,α/2)。
• Orthonormal Certificates (OCs) は、訓練表現 φ(x) をゼロへ写像する多様で非定常でない証明関数の集合 C を構築し、u_e(x*) = ||C^T φ(x*)||^2 によってデータの外れサンプルを検出可能にする。
• 証明は多様性を保証する直交正規化制約を用いて訓練され、損失に正規化項 ||C^T C − I_k|| を課して実装される。
• OC の性能は、内域分布と外域分布の分離を示すテール境界を通じて分析される。
• このアプローチは、最後の層表現を積み重ねるだけで、事前学習済みネットワークと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 アンサンブルなしで信頼性のある校正済み予測区間を単一のニューラルネットワークモデルが提供できるか？
• RQ2 単一モデルアプローチは再訓練や広範なハイパーパラメータ調整なしにエピステミック不確実性と外れ分布サンプルを効果的に検出できるか？
• RQ3 標準ベンチマークで実践的に SQR と OC の手法は既存の不確実性推定手法とどのように比較されるか？
• RQ4 内域と外域データを区別するオーソノーマル証明の挙動を支える理論的保証または洞察は何か？

主な発見

• SQR は信頼性の高い 1−α の予測区間を提供し、モデルアンサンブルなしで複雑な非ガウスなアレータリア不確実性をモデル化できる。
• OC は単一モデルを用いた競争的な外部分布検出性能を提供し、複数データセットでしばしばいくつかのベースラインを上回る。
• SQR はどんなニューラルネットワークにも追加の出力層として組み込むことができ、性能を損なわず再訓練を必要としない。
• OC の理論分析には、内域対外域データのエピステミック不確実性の挙動を記述するテール境界が含まれる。
• 提案手法は、アンサンブルと比較して計算と記憶を削減しつつ競争力のある結果を達成する。