[논문 리뷰] Adding Uncertainty to Neural Network Regression Tasks in the Geosciences

Elizabeth A. Barnes, Randal J. Barnes외 1명|arXiv (Cornell University)|2021. 09. 15.

Neural Networks and Applications참고 문헌 2인용 수 12

한 줄 요약

이 논문은 지구과학 분야의 딥 뉴럴 네트워크 회귀 모델에 불확실성을 통합하기 위한 단순하고 일반화 가능한 방법을 제시한다. 사용자가 정의한 확률 분포의 모수(예: 위치, 척도, 비대칭도, 꼬리 무게)를 수정된 네트워크 출력과 손실 함수를 통해 예측함으로써 이루어진다. 이 방법은 이종 분산성과 비대칭 불확실성 추정을 가능하게 하며, 이는 이종 분포를 갖는 합성 기후 데이터에 대해 sinh-arcsinh 분포를 사용하여 비가역 변환을 통해 모수 제약 조건을 강제함으로써 성공적으로 구현되었다.

ABSTRACT

A simple method for adding uncertainty to neural network regression tasks via estimation of a general probability distribution is described. The methodology supports estimation of heteroscedastic, asymmetric uncertainties by a simple modification of the network output and loss function. Method performance is demonstrated with a simple one dimensional data set and then applied to a more complex regression task using synthetic climate data.

연구 동기 및 목표

• 지구과학 적용 분야의 회귀 작업에 대해 접근하기 쉬운 불확실성 정량화 방법의 부족을 해결하기 위해.
• 신경망이 점 추정치 외에도 전체 조건부 확률 분포를 예측할 수 있도록 하여 더 나은 리스크 평가 및 의사결정을 가능하게 하기 위해.
• 표준 딥 러닝 아키텍처를 사용하여 이종 분산성과 비대칭 불확실성을 지원하는 단순하고 일반화 가능한 프레임워크를 제공하기 위해.
• 이 방법의 효과성을 합성 지구과학 데이터, 특히 기후 관련 회귀 작업에 대해 입증하기 위해.
• 이 접근법이 직관적이고 쉽게 구현 가능하도록 하여 지구과학 분야에서 불확실성 인식 딥 러닝의 보급을 촉진하기 위해.

제안 방법

• 네트워크가 단일 값 외에도 사용자가 지정한 확률 분포의 모수(예: 위치, 척도, 비대칭도, 꼬리 무게)를 출력하도록 수정된다.
• 표준편차 및 꼬리 무게와 같은 제약 조건이 있는 모수의 경우, 철저히 양수 또는 유한 범위 내에 있도록 비가역 변환(예: 지수 또는 로짓)을 적용한다.
• 손실 함수는 예측된 분포 하에서 진짜 타겟 값의 음의 로그우도로 정의되며, 위치와 불확실성 양쪽을 최적화하기 위해 사용된다.
• 비대칭성이 강하고 비대칭성과 무거운 꼬리 무게를 모델링할 수 있는 유연한 분포인 sinh-arcsinh(SHASH) 분포를 사용하며, 평균, 분산, 중앙값 계산을 위한 맞춤형 헬퍼 함수를 제공한다.
• TensorFlow와 Keras를 사용하여 구현되었으며, 각 분포 모수에 대해 별도의 밀집층을 사용하고 최종적으로 출력을 연결한다.
• 이 방법은 1차원 합성 데이터셋에서 검증되었으며, 비정규 분포이자 비대칭적인 출력 분포를 가진 복잡한 합성 기후 회귀 작업으로 확장되었다.

실험 결과

연구 질문

• RQ1 지구과학 분야의 딥 뉴럴 네트워크 회귀 모델에 불확실성을 추가하기 위한 단순하고 일반화 가능한 방법을 개발할 수 있는가?
• RQ2 신경망을 어떻게 수정하여 평균 외에도 예측 분포의 전체 형태(비대칭도 및 꼬리 행동 포함)를 예측할 수 있는가?
• RQ3 제안된 방법이 표준 회귀 모델에 비해 비정규적이며 비대칭적인 지구과학 데이터에서 불확실성 정량화를 얼마나 향상시키는가?
• RQ4 다양한 미분 가능한 변환을 사용하여 표준편차와 같은 모수 제약 조건(예: 양수성)을 훈련 중에 신뢰성 있게 강제로 유지할 수 있는가?
• RQ5 TensorFlow 및 Keras와 같은 표준 딥 러닝 프레임워크를 사용하여 이 접근법을 효율적이고 효과적으로 구현할 수 있는가?

주요 결과

• 이 방법은 1차원 합성 데이터셋에서 이종 분산성과 비대칭 불확실성을 성공적으로 모델링하였으며, 예측된 분포가 진짜 기저 데이터 분포와 밀접하게 일치함을 확인하였다.
• 합성 기후 회귀 작업에서 SHASH 분포 출력을 가진 모델은 동질 분산 정규 분포를 가정하는 모델에 비해 훨씬 우수한 불확실성 캘리브레이션 성능를 보였다.
• 비가역 변환(예: 척도에 대해 exp, 유한한 범위의 모수에 대해 logit)을 사용함으로써 훈련 및 추론 중 모든 분포 모수가 유효 범위 내에 유지됨을 보장하였다.
• 예측 구간에 대한 진단 검사를 통해 예측된 분포를 기반으로 음의 로그우도 손실 함수를 최소화함으로써 잘 캘리브레이션된 불확실성 추정치를 도출하였다.
• 이 방법은 계산적으로 효율적이며 표준 딥 러닝 파ip라인과 호환되어 실제 지구과학 적용 분야에 구현이 가능하다.
• 이 방법은 일반적이며 확장 가능하다: 출력층과 손실 함수를 적절히 수정함으로써 임의의 파라미터 분포에 적용할 수 있다.