[論文レビュー] Learning uncertainty in regression tasks by artificial neural networks

Pavel Gurevich, Hannes Stuke|arXiv (Cornell University)|Jul 23, 2017

Gaussian Processes and Bayesian Inference参考文献 26被引用数 4

ひとこと要約

本論文は、2つのニューラルネットワークを共同で訓練する新しい手法を提案する。1つは予測用、もう1つは平均損失を用いた局所的予測不確実性の推定用である。このアプローチにより、事前に定義されたノイズ分布を必要とせずに、ガウス分布またはラプラスノイズの仮定のもとで古典的手法（最大対数尤度）を回復しつつ、より良い予測が可能になる。

ABSTRACT

We suggest a general approach to quantification of different forms of uncertainty in regression tasks performed by artificial neural networks. It is based on the simultaneous training of two neural networks with a joint loss function. One of the networks performs predictions and the other simultaneously quantifies the uncertainty of predictions by estimating the locally averaged loss of the first one. Unlike in many classical uncertainty quantification methods, the targets are not assumed to be sampled from a probability distribution of an a priori given form. We analyze how the hyperparameters affect the learning process and, additionally, show that our method even allows for better predictions compared to standard neural networks without uncertainty counterparts. Finally, we show that particular cases of our approach include maximization of log-likelihood, assuming Gaussian or Laplace noise.

研究の動機と目的

• ノイズ分布の既知のパrametric形式を仮定せずに、回帰タスクにおける不確実性を定量化する一般化されたフレームワークの構築。
• トレーニング中に不確実性推定を組み込むことで、予測性能の向上。
• 予測ネットワークの損失の局所的構造を活用することで、局所的な不確実性の学習を可能に。
• ガウス分布またはラプラスノイズの下で、最大対数尤度などの古典的手法が本手法に包含されることの証明。

提案手法

• 予測用と不確実性推定用の2つのニューラルネットワークを同時に訓練。
• 予測損失と不確実性推定損失を組み合わせた共同損失関数を用いる。
• 不確実性ネットワークは、予測ネットワークの局所的平均損失を推定し、予測の信頼性を反映する。
• 事前にノイズ分布の知識を仮定しないため、さまざまな回帰タスクに柔軟に適用可能。
• 既知の不確実性評価手法（例：ガウスまたはラプラスノイズ下での最大対数尤度）に一般化可能。

実験結果

リサーチクエスチョン

• RQ1 ノイズ分布の特定のパラメトリック形式を仮定せずに、回帰における不確実性を効果的に定量化できるか？
• RQ2 予測ネットワークと不確実性ネットワークの共同学習が、予測性能にどのように影響するか？
• RQ3 本手法が、ガウスまたはラプラスノイズ下での最大対数尤度などの古典的手法をどの程度回復できるか？
• RQ4 ハイパーパramータが学習ダイナミクスと不確実性推定の質にどのように影響するか？

主な発見

• 不確実性推定を伴わない標準的なニューラルネットワークと比較して、提案手法は予測精度が向上した。
• 不確実性ネットワークは、予測ネットワークの平均損失を推定することで、局所的な予測信頼性を効果的に捉えた。
• ノイズがガウス分布またはラプラス分布であると仮定すると、最大対数尤度推定が回復された。
• ハイパーパramータのチューニングは学習プロセスに顕著な影響を与え、最適な設定が不確実性のキャリブレーションを向上させた。