[論文レビュー] An Evidential Neural Network Model for Regression Based on Random Fuzzy Numbers

Thierry Denœux|arXiv (Cornell University)|Aug 1, 2022

Fuzzy Logic and Control Systems被引用数 8

ひとこと要約

本稿では、ガウス型確率的ファジィ数（GRFN）を用いて予測不確実性をモデル化し、一般化されたデムプスター則に基づく距離に基づく証拠を組み合わせることで、回帰のための新規な証拠的ニューラルネットワーク、ENNregを提案する。この手法は、点推定値、分散、精度で要約されるGRFNを出力し、既存の証拠的および統計的モデルと比較して優れた不確実性の定量化と精度を達成した。UCIデータセットにおいて最先端の性能を発揮した。

ABSTRACT

We introduce a distance-based neural network model for regression, in which prediction uncertainty is quantified by a belief function on the real line. The model interprets the distances of the input vector to prototypes as pieces of evidence represented by Gaussian random fuzzy numbers (GRFN's) and combined by the generalized product intersection rule, an operator that extends Dempster's rule to random fuzzy sets. The network output is a GRFN that can be summarized by three numbers characterizing the most plausible predicted value, variability around this value, and epistemic uncertainty. Experiments with real datasets demonstrate the very good performance of the method as compared to state-of-the-art evidential and statistical learning algorithms. \keywords{Evidence theory, Dempster-Shafer theory, belief functions, machine learning, random fuzzy sets.

研究の動機と目的

• フレーム・オブ・ディスセントが有限集合ではなく実数直線である回帰へのデュムプスター証拠理論の適用という課題に対処すること。
• ランダムファジィ集合を用いて回帰予測におけるアレアトリック不確実性とエピステム的不確実性の両方を定量化するニューラルネットワークモデルを開発すること。
• GRFNと一般化された証拠結合を活用することで、分類から回帰への証拠的ニューラルネットワークフレームワークの拡張を図ること。
• 実世界のデータセット上で、最先端の回帰および証拠学習手法と比較してモデルの性能を評価すること。
• モデルが適切にキャリブレートされた予測区間を提供することを示すこと。

提案手法

• モデルは入力空間におけるプロトタイプを用い、入力ベクトルから各プロトタイプまでの距離を証拠として計算する。
• 各距離は、正規分布したモードを持つ可能性分布をモデル化するガウス型確率的ファジィ数（GRFN）として表現される。
• 複数のプロトタイプからの証拠は、ハード正規化を伴う一般化された積集合ルールを用いて組み合わされ、デュムプスター則がランダムファジィ集合へと拡張される。
• 出力は、3つのパラメータで特徴づけられるGRFNである：点予測μ(x)、ランダム不確実性のための分散σ²(x)、エピステム的不確実性のための精度h(x)。
• 予測されたGRFNと真のGRFNのマハラノビス距離に基づく損失関数を用いて、バックプロパゲーションによるエンドツーエンドの学習が行われる。
• 予測区間は、GRFNの逆累積分布関数から導出され、保守的な頻度的カバレッジを保証する。

実験結果

リサーチクエスチョン

• RQ1 ランダムファジィ集合を用いることで、分類から回帰への証拠的ニューラルネットワークフレームワークを成功裏に拡張できるか？
• RQ2 ガウス型確率的ファジィ数（GRFN）は、ランダム性とエピステム的無知の両方を含む回帰における予測不確実性を効果的に表現できるか？
• RQ3 一般化された積集合ルールは、回帰文脈における複数のプロトタイプからの証拠を安定的かつ意味的に組み合わせられるか？
• RQ4 予測精度と不確実性のキャリブレーションという観点から、ENNregの性能は最先端の回帰モデルと比べてどうか？
• RQ5 GRFN出力は適切な頻度的カバレッジ特性を持つ予測区間を生成できるか？

主な発見

• ENNregは4つのUCIデータセットのうち3つで最小の平均二乗誤差（MSE）を達成し、既存の証拠的モデル（ENN97とEVREG）および最先端の手法を上回った。
• ボストンデータセットでは、ENNregのMSEは8.72であり、ENN97（15.78）およびEVREG（19.82）を著しく下回った。
• エネルギー（Energy）データセットでは、ENNregのMSEは0.342であり、RVM（0.721）、SVM（0.440）、GP（2.324）、RF（0.462）を上回った。
• コンクリート（Concrete）データセットでは、ENNregのMSEは28.32であり、ENN97（62.0）およびEVREG（71.4）を上回り、ランダムフォレスト（25.6）に次ぐ第二位であった。
• ヨット（Yacht）データセットでは、ENNregのMSEは0.462であり、EVREG（42.045）およびENN97（6.662）を著しく上回り、RVM（2.771）およびSVM（3.295）と同等の性能を示した。
• GRFN出力から導出された予測区間は保守的カバレッジを示し、50%、90%、99%区間の観察されたカバレッジ確率はそれぞれ0.76、0.96、0.997であった。