[論文レビュー] Calibrated Reliable Regression using Maximum Mean Discrepancy

Peng Cui, Wenbo Hu+1 more|arXiv (Cornell University)|Jun 1, 2020

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、予測分布と真の分布間のカーネル埋め込み差を最小化するための最大平均差分（MMD）を用いたキャリブレーション回帰手法を提案する。この手法により、漸近的にゼロに近づくキャリブレーション誤差が達成される。実験の結果、実世界のデータセットにおいて、優れたキャリブレーション性と鋭い予測区間を生成し、最先端の手法を上回ることが示された。

ABSTRACT

Accurate quantification of uncertainty is crucial for real-world applications of machine learning. However, modern deep neural networks still produce unreliable predictive uncertainty, often yielding over-confident predictions. In this paper, we are concerned with getting well-calibrated predictions in regression tasks. We propose the calibrated regression method using the maximum mean discrepancy by minimizing the kernel embedding measure. Theoretically, the calibration error of our method asymptotically converges to zero when the sample size is large enough. Experiments on non-trivial real datasets show that our method can produce well-calibrated and sharp prediction intervals, which outperforms the related state-of-the-art methods.

研究の動機と目的

• 深層ニューラルネットワークの回帰タスクにおける過剰な自信過剰な予測の問題に対処すること。
• 予測分布が適切にキャリブレーションされていることを保証することで、不確実性の定量化を改善すること。
• 標本サイズが増加するにつれて、漸近的にゼロのキャリブレーション誤差を達成する手法を開発すること。
• 既存の最先端手法を上回る、鋭さと信頼性を両立した予測区間を生成すること。

提案手法

• 予測の経験的分布と真のターゲット分布の間の最大平均差分（MMD）をカーネル埋め込みを用いて最小化する。
• 非パラメトリックな方法で分布差を測定するために再生核ヒルベルト空間（RKHS）を活用する。
• 予測分布と真の条件付き分布を一致させるために、訓練中にエンドツーエンドで最適化を実行する。
• 明示的な密度推定を必要とせず、カーネルに基づく統計的検定を用いて分布の一致を保証する。
• 深層ニューラルネットワークアーキテクチャと互換性があり、スケーラブルであるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 MMDに基づく分布一致は、深層回帰モデルにおけるキャリブレーション誤差を効果的に低減できるか？
• RQ2 提案手法は、標本サイズが増加するにつれて、漸近的にゼロのキャリブレーション誤差を達成するか？
• RQ3 予測区間のキャリブレーション性と鋭さの観点から、既存の最先端手法と比較してどのように性能を発揮するか？
• RQ4 明示的な密度モデルなしに、信頼性のある不確実性推定を生成できるか？

主な発見

• 提案手法のキャリブレーション誤差は、標本サイズが増加するにつれて漸近的にゼロに収束する。
• 本手法は、非自明な実世界のデータセット上でも、適切にキャリブレーションされた予測区間を生成する。
• 本手法が生成する予測区間は、鋭さと信頼性の両方を満たしており、既存の最先端手法を上回る。
• 本手法は、カーネルに基づく分布一致によって、深層ニューラルネットワークの予測における過剰な自信を効果的に低減する。