[논문 리뷰] Frequentist Uncertainty in Recurrent Neural Networks via Blockwise Influence Functions

Ahmed M. Alaa, Mihaela van der Schaar|ArXiv.org|2020. 06. 20.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 재귀 신경망(RNN)에서 예측 간격을 재학습 없이 추정하기 위해 블록 단위의 영향 함수를 사용하는 후행적, 빈도주의적 접근을 제안한다. 시간적으로 연관된 데이터 블록에 대해 잭나이프 샘플링을 적용하고 영향 함수를 활용해 모델 갱신을 근사함으로써, 재학습 없이도 이론적 커버리지 보장을 확보하면서 다양한 RNN 아키텍처에서 모델 정확도를 유지한다.

ABSTRACT

Recurrent neural networks (RNNs) are instrumental in modelling sequential and time-series data. Yet, when using RNNs to inform decision-making, predictions by themselves are not sufficient; we also need estimates of predictive uncertainty. Existing approaches for uncertainty quantification in RNNs are based predominantly on Bayesian methods; these are computationally prohibitive, and require major alterations to the RNN architecture and training. Capitalizing on ideas from classical jackknife resampling, we develop a frequentist alternative that: (a) does not interfere with model training or compromise its accuracy, (b) applies to any RNN architecture, and (c) provides theoretical coverage guarantees on the estimated uncertainty intervals. Our method derives predictive uncertainty from the variability of the (jackknife) sampling distribution of the RNN outputs, which is estimated by repeatedly deleting blocks of (temporally-correlated) training data, and collecting the predictions of the RNN re-trained on the remaining data. To avoid exhaustive re-training, we utilize influence functions to estimate the effect of removing training data blocks on the learned RNN parameters. Using data from a critical care setting, we demonstrate the utility of uncertainty quantification in sequential decision-making.

연구 동기 및 목표

• 순차적 의사결정을 위한 신뢰할 수 있고 계산적으로 효율적인 RNN의 불확실성 정량화 부족 문제를 해결하기 위해.
• 비용이 많이 들고 아키텍처 수정이 필요한 재학습이 필요 없는 베이지안 불확실성 방법의 빈도주의적 대안을 개발하기 위해.
• 원래 RNN의 예측 정확도를 유지하면서도 예측 간격에 대한 이론적 커버리지 보장을 확보하기 위해.
• 환자 예후 예측의 불확실성을 정량화하여 임상의가 더 안전하고 데이터 기반의 의사결정을 내릴 수 있도록 돕기 위해.
• 백혈구 수치 변화 추이 기반 항생제 투여 의사결정을 지도하는 데에 불확실성 추정치의 유용성을 입증하기 위해.

제안 방법

• RNN의 훈련 세트에서 시간적으로 연속된 블록을 반복적으로 제거함으로써 블록 단위의 잭나이프 샘플링을 적용한다.
• 각 제거된 블록에 대해, 전체 재학습 없이도 영향 함수를 사용해 RNN 파라미터의 변화를 추정함으로써, 훼손된 모델의 효율적 근사화를 가능하게 한다.
• 이러한 근사된 훼손 모델의 예측 변동성을 잭나이프 분산 추정기법을 통해 이용해 신뢰구간을 구성한다.
• 표준 영향 함수를 시간적으로 상관관계가 있는 데이터 블록에 일반화함으로써 순차적 환경에서의 통계적 타당성을 확보한다.
• 백프로파게이션 스루 타임(BPTT)을 통해 훈련된 RNN에 대해 선형 시간 내에 블록 단위의 영향 함수를 추정하는 확률적 알고리즘을 개발한다.
• 모델에 종속되지 않는 방법으로, 추론 시 손실 기울기 접근만 필요하므로 모든 RNN 아키텍처에 적용 가능하다.

실험 결과

연구 질문

• RQ1 모델 훈련이나 아키텍처를 변경하지 않고도 빈도주의 접근이 RNN 예측에 대해 신뢰할 수 있는 불확실성 추정치를 제공할 수 있는가?
• RQ2 영향 함수는 시간적으로 연관된 데이터 블록을 제거했을 때의 영향을 RNN에서 어떻게 적응적으로 추정할 수 있는가?
• RQ3 제안된 방법이 순차적 환경에서 사전 설정된 커버리지 확률을 달성할 수 있는가?
• RQ4 정확도, 커버리지 및 간격 길이 측면에서 기존의 베이지안 및 빈도주의 기반 기준과 비교해 이 방법의 불확실성 정량화 성능은 어떠한가?
• RQ5 불확실성 추정치가 백혈구 수치 변화 추세 기반 항생제 투여 의사결정에서 위험과 이익을 균형 있게 조절함으로써 임상적 의사결정을 향상시킬 수 있는가?

주요 결과

• 실제 MIMIC-III 데이터에서 제안된 방법은 94.4%의 커버리지 비율을 달성하여 DP-RNN 기준(49.2%)을 크게 뛰어넘었으며, 간격 길이가 증가하지 않으면서도 목표 커버리지 수준을 유지했다.
• BJ-RNN 방법은 높은 예측 정확도(RMSE = 20.24)를 유지하였으며, 불확실성 인식 훈련으로 인해 정확도 손실이 발생한 MQ-RNN 기준(RMSE = 22.39)을 뛰어넘었다.
• 경쟁 수준의 감시 정확도를 확보하였으며, 백혈구 감소 범위(P4) 예측 정밀도 67%와 백혈구 증가 범위(P10) 예측 정밀도 48%를 기록하여 전문 기준과 유사한 성능을 보였다.
• 신뢰구간은 좁고 잘 校정되어 있었으며, DP-RNN의 과도한 낙관주의나 MQ-RNN의 과도한 경계심을 피하여 실질적인 임상적 의사결정을 가능하게 하였다.
• 상한 신뢰구간이 백혈구 감소 범위에 진입할 때를 식별함으로써 안전한 항생제 투여 결정을 가능하게 하였다.
• 계산적으로 효율적이며 후행적 방법으로, 훈련이나 아키텍처 수정 없이도 이론적 커버리지 보장을 제공한다.