[論文レビュー] Frequentist Uncertainty in Recurrent Neural Networks via Blockwise Influence Functions

Ahmed M. Alaa, Mihaela van der Schaar|ArXiv.org|Jun 20, 2020

Neural Networks and Applications被引用数 6

ひとこと要約

本稿では、再訓練を伴わずに予測区間を推定するためのpost-hocで頻度主義的なアプローチを提案する。この手法は、RNNにおける不確実性評価のためのブロック単位の影響関数を用い、時間的に相関するデータブロックに対してジャックナイフリサンプリングを適用し、モデル更新を近似することで理論的カバレッジ保証を達成する。このアプローチは、多様なRNNアーキテクチャにおいてもモデルの精度を維持する。

ABSTRACT

Recurrent neural networks (RNNs) are instrumental in modelling sequential and time-series data. Yet, when using RNNs to inform decision-making, predictions by themselves are not sufficient; we also need estimates of predictive uncertainty. Existing approaches for uncertainty quantification in RNNs are based predominantly on Bayesian methods; these are computationally prohibitive, and require major alterations to the RNN architecture and training. Capitalizing on ideas from classical jackknife resampling, we develop a frequentist alternative that: (a) does not interfere with model training or compromise its accuracy, (b) applies to any RNN architecture, and (c) provides theoretical coverage guarantees on the estimated uncertainty intervals. Our method derives predictive uncertainty from the variability of the (jackknife) sampling distribution of the RNN outputs, which is estimated by repeatedly deleting blocks of (temporally-correlated) training data, and collecting the predictions of the RNN re-trained on the remaining data. To avoid exhaustive re-training, we utilize influence functions to estimate the effect of removing training data blocks on the learned RNN parameters. Using data from a critical care setting, we demonstrate the utility of uncertainty quantification in sequential decision-making.

研究の動機と目的

• 逐次的意思決定の文脈において、信頼性があり計算効率の良いRNNの不確実性評価の欠如に対処すること。
• 高コストな再訓練やアーキテクチャの変更を回避する頻度主義的手法を、ベイジアン不確実性手法の代替として開発すること。
• 元のRNNの予測精度を維持しつつ、予測区間に対して理論的カバレッジ保証を確保すること。
• 臨床医が患者の予後予測における不確実性を定量化することで、重症ケア分野におけるより安全でデータドリブンな意思決定を可能にすること。
• 不確実性推定の有効性を、白血球数の推移に基づく抗菌薬投与意思決定を支援する観点から示すこと。

提案手法

• 本手法は、RNNの学習データセットから時間的に連続するデータブロックを繰り返し除去することで、ブロック単位のジャックナイフリサンプリングを適用する。
• 各ブロックを除去した場合に、完全な再訓練を経ずに影響関数を用いてRNNパラメータの変化を推定し、摂動モデルの効率的近似を実現する。
• これらの近似摂動モデルからの予測のばらつきを、ジャックナイフ分散推定法を用いて信頼区間を構築するために利用する。
• 標準的な影響関数を、時間的相関を持つ依存データブロックに一般化することで、逐次的状況における統計的妥当性を確保する。
• RNNがバックプロパゲーションスルータイム（BPTT）によって学習される場合に、線形時間でブロック単位の影響関数を推定するための確率的推定アルゴリズムを開発する。
• 本手法はモデルに依存せず、損失勾配が推論時に利用可能であれば、任意のRNNアーキテクチャに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 頻度主義的手法は、モデルの学習やアーキテクチャの変更なしに、RNNの予測に対して信頼性のある不確実性推定を提供できるか？
• RQ2 影響関数は、RNNにおける時間的に相関するデータブロックを除去したときの影響をどのように適応的に推定できるか？
• RQ3 提案手法は、逐次的状況において、事前に指定されたカバレッジ確率を達成できるか？
• RQ4 精度、カバレッジ、区間長の観点から、本手法の不確実性評価は、既存のベイジアンおよび頻度主義のベースラインと比較して優れているか？
• RQ5 不確実性推定は、リスクと利益のバランスを取ることで、抗菌薬投与意思決定を支援する臨床意思決定を向上させることができるか？

主な発見

• 提案手法は、実世界のMIMIC-IIIデータ上で94.4%のカバレッジ率を達成し、DP-RNNベースライン（49.2%）を著しく上回り、区間長の増大なしに目標カバレッジに一致した。
• BJ-RNN手法は高い予測精度（RMSE = 20.24）を維持し、不確実性を考慮した学習による精度損失を招いたMQ-RNNベースライン（RMSE = 22.39）を上回った。
• 本手法は競争力のある監査精度を達成し、白血球減少範囲（P4）の予測で67%の精度、白血球増多範囲（P10）の予測で48%の精度を示した。これは、専用のベースラインと同等の水準であった。
• 信頼区間は狭く、かつ適切にキャリブレーションされており、DP-RNNの楽観的過剰推定やMQ-RNNの過剰な慎重さを回避し、臨床的アクションに即した意思決定を可能にした。
• 上側信頼区間が白血球減少範囲に達した場合に、リスクを特定することで、安全な抗菌薬投与意思決定を可能にした。
• 本手法は計算的に効率的で、post-hocである。学習やアーキテクチャの変更が不要でありながら、理論的カバレッジ保証を提供する。