[論文レビュー] Quantifying Point-Prediction Uncertainty in Neural Networks via Residual Estimation with an I/O Kernel

Xin Qiu, Elliot Meyerson+1 more|arXiv (Cornell University)|Jun 3, 2019

Gaussian Processes and Bayesian Inference参考文献 42被引用数 27

ひとこと要約

この論文では、従来の標準的なニューラルネットワークの予測不確実性を、新しい入力/出力（I/O）カーネルを用いたガウス過程で予測残差をモデル化することで定量化するフレームワークRIOを提案する。RIOは、元のモデルアーキテクチャーやトレーニングパイプラインを変更せずに、信頼性の高い不確実性推定を可能にし、点予測の精度を向上させ、大規模データセットに対しても効率的にスケーリングできる。

ABSTRACT

Neural Networks (NNs) have been extensively used for a wide spectrum of real-world regression tasks, where the goal is to predict a numerical outcome such as revenue, effectiveness, or a quantitative result. In many such tasks, the point prediction is not enough: the uncertainty (i.e. risk or confidence) of that prediction must also be estimated. Standard NNs, which are most often used in such tasks, do not provide uncertainty information. Existing approaches address this issue by combining Bayesian models with NNs, but these models are hard to implement, more expensive to train, and usually do not predict as accurately as standard NNs. In this paper, a new framework (RIO) is developed that makes it possible to estimate uncertainty in any pretrained standard NN. The behavior of the NN is captured by modeling its prediction residuals with a Gaussian Process, whose kernel includes both the NN's input and its output. The framework is evaluated in twelve real-world datasets, where it is found to (1) provide reliable estimates of uncertainty, (2) reduce the error of the point predictions, and (3) scale well to large datasets. Given that RIO can be applied to any standard NN without modifications to model architecture or training pipeline, it provides an important ingredient for building real-world NN applications.

研究の動機と目的

• 広く使われているが、点予測しか提供しない標準的なニューラルネットワークにおける不確実性推定の欠如に対処すること。
• ニューラルネットワークのアーキテクチャーやトレーニングプロセスを変更せずに、予測不確実性を推定する手法を開発すること。
• 入力と出力を組み合わせたI/Oカーネルを用いたガウス過程による残差補正により、点予測の精度を向上させること。
• スパースガウス過程技術との統合を通じて、大規模データセットへのスケーラビリティを確保すること。
• 実世界の応用において、正確な予測と不確実性の定量化の両方を必要とする実用的で即挿し可能なソリューションを提供すること。

提案手法

• RIOは、事前に学習されたニューラルネットワークの予測残差を、ガウス過程（GP）の出力として扱う。
• 入力と出力の両方を明示的に組み込むことで、残差の依存関係をモデル化する、新しい合成カーネル（I/Oカーネル）を導入する。
• GPは、ニューラルネットワークの予測値と真のラベルとの間の残差を学習対象とすることで、新しい入力に対する不確実性推定を可能にする。
• 計算効率と大規模データセットへのスケーラビリティを確保するため、スパースGP近似法（例：SVGP）を活用する。
• RIOは、元のニューラルネットワークの再トレーニングやアーキテクチャ変更が不要なポストホックモジュールとして動作する。
• 分類タスクは、クラスラベルへの回帰として扱うことで、回帰および分類タスクの両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャーやトレーニングプロセスの変更なしに、標準的なニューラルネットワークの点予測に対して信頼性のある不確実性推定が可能なポストホックフレームワークは存在するか？
• RQ2 GPカーネルに入力と出力の両方の情報を組み込むことで、不確実性推定と予測精度が向上するか？
• RQ3 提案手法は、計算効率を維持しながら、大規模データセットに対しても効果的にスケーリング可能か？
• RQ4 予測精度と不確実性のキャリブレーションの観点から、既存の不確実性推定手法と比較してRIOは優れているか？
• RQ5 I/Oカーネルによる残差補正は、不確実性推定をはるかに超えて、点予測の精度向上にも寄与するか？

主な発見

• RIOは12の実世界の回帰データセットにおいて、ベースライン手法と比較して統計的に有意な不確実性キャリブレーションの向上を示し、信頼性の高い不確実性推定を提供した。
• 残差の補正により予測誤差が低減され、より正確な点予測が得られた。例えば、ボストン住宅データセットではRMSEが0.635 ± 0.031にまで低下し、ベースラインモデルを上回った。
• RIOは大規模データセットに対しても効率的にスケーリングでき、最大50万サンプルのデータセットでも推論時間が5分未満で実現され、実用的なデプロイが可能であることが示された。
• I/Oカーネルは、入力のみまたは出力のみのカーネルバージョンと比較して顕著に性能を向上させ、すべてのデータセットでRMSEおよび負の対数尤度の面で一貫した改善が確認された。
• 12のデータセットのうち10つで、RIOは不確実性キャリブレーションおよび予測精度の両面で、SVGP やランダムフォレストなどの代替手法と比較して最高または統計的に有意に優れた性能を発揮した。
• ペアドt検定およびウィルコクソン符号順位検定の結果、p値が0.05未満であり、標準ベースライン手法と比較して、予測精度と不確実性推定の両面で一貫して優れた性能を示した。