[논문 리뷰] Interval Neural Networks: Uncertainty Scores

Luis Oala, Cosmas Heiß외 4명|arXiv (Cornell University)|2020. 03. 25.

Model Reduction and Neural Networks참고 문헌 20인용 수 10

한 줄 요약

이 논문은 사전에 훈련된 딥 네ural 네트워크를 위한 비베이지안 방법인 간격 신경망(INNs)을 소개한다. INNs는 간격 산술을 사용하여 비대칭이고 이론적으로 타당한 불확실성 구간을 생성한다. INNs는 진정값을 신뢰성 있게 포함하는 하한 및 상한 출력 범위를 생성하며, 오차 상관관계 향상, 방향성 불확실성 정보 제공, 노이즈에 대한 강건성 향상으로 인해 CT 영상 복원 작업에서 몬테카를로 드롭아웃 및 ProbOut보다 불확실성 정량화 성능이 뛰어나다.

ABSTRACT

We propose a fast, non-Bayesian method for producing uncertainty scores in the output of pre-trained deep neural networks (DNNs) using a data-driven interval propagating network. This interval neural network (INN) has interval valued parameters and propagates its input using interval arithmetic. The INN produces sensible lower and upper bounds encompassing the ground truth. We provide theoretical justification for the validity of these bounds. Furthermore, its asymmetric uncertainty scores offer additional, directional information beyond what Gaussian-based, symmetric variance estimation can provide. We find that noise in the data is adequately captured by the intervals produced with our method. In numerical experiments on an image reconstruction task, we demonstrate the practical utility of INNs as a proxy for the prediction error in comparison to two state-of-the-art uncertainty quantification methods. In summary, INNs produce fast, theoretically justified uncertainty scores for DNNs that are easy to interpret, come with added information and pose as improved error proxies - features that may prove useful in advancing the usability of DNNs especially in sensitive applications such as health care.

연구 동기 및 목표

• 기존의 불확실성 정량화(UQ) 방법의 한계, 특히 대칭적인 불확실성 추정과 입력 노이즈에 대한 낮은 강건성 문제를 해결하기 위해.
• 사전에 훈련된 DNN를 위한 비베이지안이자 최적화 기반의 이론적으로 타당한 불확실성 구간을 생성하는 방법을 개발하기 위해.
• 대칭 분산을 넘어서 방향성 정보(예: 예측값이 과도하게 높거나 낮을 가능성이 있는지)를 제공함으로써 불확실성 점수의 해석 가능성과 유용성을 향상시키기 위해.
• 특히 의료 영상과 같은 민감한 응용 분야에서 예측 오차의 대체 지표로써 불확실성의 신뢰성을 향상시키기 위해.
• 간격 기반의 불확실성 추정이 최신 기술 대비 더 나은 커버리지와 실제 오차와의 상관관계를 보이는지 입증하기 위해.

제안 방법

• INN은 간격 값의 가중치와 활성화를 갖는 신경망으로, 입력을 간격 산술을 통해 전파하여 출력 구간을 생성한다.
• 지정된 손실 함수를 사용하여 간격 폭을 최소화하면서도 진정값이 예측 구간 내에 포함되도록 훈련한다.
• 기본 DNN의 마지막 열두 층에만 간격 전파를 적용하여 주 네트워크의 예측 행동을 유지한다.
• 불확실성 점수는 간격 폭(상한 - 하한)에서 유도되며, 이는 비대칭적이고 방향성 있는 불확실성 표현을 가능하게 한다.
• 기본 DNN는 별도로 사전 훈련하고, INN은 작은 학습률과 미니배치를 사용하여 Adam으로 훈련한다.
• 성능 가중 상관관계 계수(PWCC)를 주요 평가 지표로 사용하여 몬테카를로 드롭아웃 및 ProbOut과의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 간격 신경망은 실제 예측 오차와 강한 상관관계를 유지하면서도 진정값을 신뢰성 있게 포함하는 불확실성 구간을 생성할 수 있는가?
• RQ2 비대칭 간격 구간의 방향성 정보는 대칭 분산 추정에 비해 해석 가능성에 어떻게 기여하는가?
• RQ3 기존 UQ 방법과 달리 INN 방법은 입력 노이즈에 대해 강건성을 유지하는가?
• RQ4 실제 의료 영상 작업에서 INN의 불확실성 점수는 실제 예측 오차와 얼마나 상관관계가 있는가?
• RQ5 실제 적용에서 INN의 예측 간격 커버리지는 다른 UQ 방법과 비교해 어떤가?

주요 결과

• INN 방법은 CT 복원 테스트 세트에서 최고의 성능 가중 상관관계 계수(PWCC) 2211 ± 403을 기록하여 몬테카를로 드롭아웃(2170 ± 513) 및 ProbOut(190 ± 28)를 앞섰다.
• INN 방법은 입력 노이즈에 대해 뛰어난 강건성을 보였으며, 다른 방법들이 오차와 상관관계를 유지하지 못하는 상황에서도 일관된 불확실성 추정을 유지했다.
• 진정값의 76% ± 6%가 예측 간격 내에 포함되어 있어 강력한 커버리지 성질을 확인했다.
• 간격 방향 임계값이 증가함에 따라 INN의 방향 정확도는 57%에서 72%로 상승하여, 예측값이 과도하게 높거나 낮을 가능성을 신호할 수 있음을 확인했다.
• 기존 기준 방법보다 INN이 영상의 오류 발생 가능 영역(예: 에지 아티팩트 및 고강도 변화 영역)을 더 정확하게 강조했다.
• 비베이지안 및 최적화 기반 접근법을 사용했음에도 불구하고, INN는 이론적으로 타당한 구간을 확보했고, 경쟁 가능한 추론 속도를 유지했다.