[논문 리뷰] An Evidential Neural Network Model for Regression Based on Random Fuzzy Numbers

Thierry Denœux|arXiv (Cornell University)|2022. 08. 01.

Fuzzy Logic and Control Systems인용 수 8

한 줄 요약

이 논문은 예측 불확실성을 가우시안 랜덤 퍼지 수(GRFNs)를 사용하여 모델링하는 새로운 증거 신경망 ENNreg를 제안한다. 이는 일반화된 덴스터-유사 규칙을 통한 거리 기반 증거를 결합한다. 이 방법은 점 추정치, 분산, 정밀도로 요약되는 GRFN을 출력하며, 존재하는 증거 기반 및 통계 모델에 비해 더 뛰어난 불확실성 정량화와 정확도를 보이며, UCI 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We introduce a distance-based neural network model for regression, in which prediction uncertainty is quantified by a belief function on the real line. The model interprets the distances of the input vector to prototypes as pieces of evidence represented by Gaussian random fuzzy numbers (GRFN's) and combined by the generalized product intersection rule, an operator that extends Dempster's rule to random fuzzy sets. The network output is a GRFN that can be summarized by three numbers characterizing the most plausible predicted value, variability around this value, and epistemic uncertainty. Experiments with real datasets demonstrate the very good performance of the method as compared to state-of-the-art evidential and statistical learning algorithms. \keywords{Evidence theory, Dempster-Shafer theory, belief functions, machine learning, random fuzzy sets.

연구 동기 및 목표

• 프레임 오브 디스cern이 유한 집합이 아닌 실수선인 회귀에 덴스터-샤프 증거 이론을 적용하는 데 도전하는 것.
• 랜덤 퍼지 집합을 사용하여 회귀 예측의 애로티케 및 엡스테믹 불확실성을 모두 정량화하는 신경망 모델을 개발하는 것.
• GRFNs와 일반화된 증거 조합을 활용하여 증거 기반 신경망 프레임워크를 분류에서 회귀로 확장하는 것.
• 실세계 데이터셋에서 최신 기술 수준의 회귀 및 증거 기반 학습 방법과의 성능 비교를 수행하는 것.
• 모델이 잘 校정된 예측 구간을 제공하고 경쟁 가능한 예측 정확도를 보이는지 보여주는 것.

제안 방법

• 모델은 입력 공간에 있는 프로토타입을 사용하며, 입력 벡터와 각 프로토타입 사이의 거리를 증거로 계산한다.
• 각 거리는 정규분포를 가진 모드를 가진 가능도 분포를 모델링하는 가우시안 랜덤 퍼지 수(GRNF)로 표현된다.
• 다수의 프로토타입에서 유도된 증거는 하드 정규화를 적용한 일반화된 곱-교차 규칙을 사용하여 결합되며, 덴스터의 규칙을 랜덤 퍼지 집합으로 확장한다.
• 출력은 세 가지 매개변수로 특징지어지는 GRFN이다: 점 예측 μ(x), 랜덤 불확실성에 대한 분산 σ²(x), 그리고 엡스테믹 불확실성에 대한 정밀도 h(x).
• 예측된 GRFN과 진짜 GRFN 간의 마할라노비스 거리를 기반으로 한 손실 함수를 사용하여 백프로파게이션을 통한 엔드 투 엔드 학습이 수행된다.
• 예측 구간은 GRFN의 역누적분포함수에서 유도되며, 보수적인 빈도주의 커버리지 성질을 보장한다.

실험 결과

연구 질문

• RQ1 랜덤 퍼지 집합을 사용하여 증거 기반 신경망 프레임워크를 분류에서 회귀로 성공적으로 확장할 수 있는가?
• RQ2 가우시안 랜덤 퍼지 수(GRNF)가 랜덤성과 엡스테믹 무지 모두를 포함한 회귀에서 예측 불확실성을 효과적으로 표현할 수 있는가?
• RQ3 일반화된 곱-교차 규칙이 랜덤 퍼지 집합의 맥락에서 다수의 프로토타입에서 유도된 증거를 안정적이고 의미 있는 방식으로 조합할 수 있는가?
• RQ4 ENNreg의 성능은 예측 정확도 및 불확실성 캘리브레이션 측면에서 최신 기술 수준의 회귀 모델과 비교해 어떻게 되는가?
• RQ5 GRFN 출력이 적절한 빈도주의 커버리지 성질을 가진 예측 구간을 생성할 수 있는가?

주요 결과

• ENNreg는 네 개의 UCI 데이터셋 중 세 개에서 가장 낮은 평균 제곱오차(MSE)를 기록했으며, 기존의 증거 기반 모델(ENN97 및 EVREG)과 최신 기술 수준의 방법들을 모두 능가했다.
• 보스턴 데이터셋에서 ENNreg는 MSE 8.72를 기록했으며, ENN97(15.78) 및 EVREG(19.82)보다 유의미하게 낮았다.
• 에너지 데이터셋에서 ENNreg는 MSE 0.342를 기록했으며, RVM(0.721), SVM(0.440), GP(2.324), RF(0.462)를 모두 능가했다.
• 콘크리트 데이터셋에서 ENNreg는 MSE 28.32를 기록했으며, ENN97(62.0) 및 EVREG(71.4)를 능가했고, 랜덤 포레스트(25.6)에 이어 두 번째로 높은 성능을 보였다.
• 요트 데이터셋에서 ENNreg는 MSE 0.462를 기록했으며, EVREG(42.045) 및 ENN97(6.662)보다 유의미하게 뛰어나고, RVM(2.771) 및 SVM(3.295)와 유사한 성능을 보였다.
• GRFN 출력에서 파생된 예측 구간은 보수적인 커버리지 성질을 보였으며, 각각 50%, 90%, 99% 구간에 대해 관측된 커버리지 확률은 0.76, 0.96, 0.997이었다.