[論文レビュー] Adding Uncertainty to Neural Network Regression Tasks in the Geosciences

Elizabeth A. Barnes, Randal J. Barnes+1 more|arXiv (Cornell University)|Sep 15, 2021

Neural Networks and Applications参考文献 2被引用数 12

ひとこと要約

本稿では、ユーザーが定義した確率分布（例：位置、スケール、歪度、尾重み）のパラメータを、変更を加えたネットワーク出力と損失関数を介して予測することで、地球科学分野における深層ニューラルネットワーク回帰モデルに不確実性を組み込むシンプルで汎用性の高い手法を提示する。このアプローチにより、異分散的かつ非対称な不確実性推定が可能となり、一対一の変換を用いてパラメータ制約を強制する双曲正弦・逆双曲正弦（sinh-arcsinh）分布を用いた合成気候データに対して成功裏に実証された。

ABSTRACT

A simple method for adding uncertainty to neural network regression tasks via estimation of a general probability distribution is described. The methodology supports estimation of heteroscedastic, asymmetric uncertainties by a simple modification of the network output and loss function. Method performance is demonstrated with a simple one dimensional data set and then applied to a more complex regression task using synthetic climate data.

研究の動機と目的

• 地球科学の応用における回帰タスクのためのアクセスしやすい不確実性評価手法の不足に対処すること。
• ニューラルネットワークが点推定だけでなく、条件付き確率分布全体を予測できるようにすることにより、リスク評価と意思決定の質を向上させること。
• 標準的なディープラーニングアーキテクチャを用いて、異分散的かつ非対称な不確実性をサポートするシンプルで汎用性の高いフレームワークを提供すること。
• 本手法の有効性を、気候関連の回帰タスクを含む合成地球科学的データ上で実証すること。
• アプローチを直感的かつ容易に実装可能にするため、不確実性を考慮したディープラーニングの地球科学分野への採用を促進すること。

提案手法

• ネットワークを変更し、単一の値ではなく、ユーザー指定の確率分布（例：位置、スケール、歪度、尾重み）のパラメータを出力するようにする。
• 標準偏差や尾重みなどの制約付きパラメータが常に正または有界であることを保証するために、一対一の変換（例：指数関数的変換やロジット変換）を適用する。
• 損失関数を、予測された分布における真のターゲット値の負の対数尤度として定義し、位置と不確実性の両方を最適化する。
• 歪度と重尾をモデル化できる柔軟な非対称分布として、双曲正弦・逆双曲正弦（SHASH）分布を用い、平均、分散、中央値のためのカスタムヘルパー関数を実装する。
• TensorFlowとKerasを用いて実装し、各分布パラメータごとに別々の全結合層を用い、最終的に出力を連結する。
• 本手法は1次元の合成データセットで検証され、非正規的で歪度のある出力分布を示す複雑な合成気候回帰タスクへと拡張された。

実験結果

リサーチクエスチョン

• RQ1 地球科学分野における深層ニューラルネットワーク回帰モデルに不確実性を追加するシンプルで汎用性の高い手法を開発できるか？
• RQ2 ニューラルネットワークは、平均だけでなく、歪度や尾部挙動を含む予測分布の全体の形状をどのように予測できるか？
• RQ3 標準回帰と比較して、本手法は非正規的かつ歪度のある地球科学的データにおける不確実性評価をどの程度改善するか？
• RQ4 微分可能な変換を用いて、標準偏差などのパラメータ制約（例：正の値）を訓練中に信頼性高く維持できるか？
• RQ5 TensorFlow や Keras などの標準的なディープラーニングフレームワークを用いて、本アプローチを効率的かつ効果的に実装できるか？

主な発見

• 1次元の合成データセットにおいて、本手法は異分散的かつ非対称な不確実性を効果的にモデル化し、予測された分布が真のデータ分布に密接に一致した。
• 合成気候回帰タスクにおいて、SHASH分布出力のモデルは、均一分散正規分布を仮定するモデルと比較して、はるかに優れた不確実性キャリブレーションを達成した。
• 一対一の変換（例：スケールにはexp、有界パラメータにはlogit）の使用により、訓練および推論中においてすべての分布パラメータが有効範囲内に保たれた。
• 予測区間の診断的チェックにより確認されたように、予測分布の下で尤度を最小化する負の対数尤度損失関数は、良好にキャリブレートされた不確実性推定をもたらした。
• 本手法は計算的に効率的であり、標準的なディープラーニングパイプラインと互換性があり、実世界の地球科学的応用への導入が可能である。
• 本手法は汎用的かつ拡張可能である：出力層と損失関数を適切に変更することで、任意のパラメトリック分布に適用可能である。