[論文レビュー] Locally Valid and Discriminative Prediction Intervals for Deep Learning Models

Zhen Lin, Shubhendu Trivedi+1 more|arXiv (Cornell University)|Jun 1, 2021

Machine Learning in Materials Science被引用数 6

ひとこと要約

この論文は、分布の仮定を必要とせず、有限標本における局所的カバレッジ保証を達成する、深層学習モデル向けの局所的に有効かつ識別的な（LVD）予測区間を提案する。LVDはスケーラブルで、後処理可能であり、カバレッジ、精度、不確実性の識別性において既存手法を上回りつつ、モデルの性能を維持する。

ABSTRACT

Crucial for building trust in deep learning models for critical real-world applications is efficient and theoretically sound uncertainty quantification, a task that continues to be challenging. Useful uncertainty information is expected to have two key properties: It should be valid (guaranteeing coverage) and discriminative (more uncertain when the expected risk is high). Moreover, when combined with deep learning (DL) methods, it should be scalable and affect the DL model performance minimally. Most existing Bayesian methods lack frequentist coverage guarantees and usually affect model performance. The few available frequentist methods are rarely discriminative and/or violate coverage guarantees due to unrealistic assumptions. Moreover, many methods are expensive or require substantial modifications to the base neural network. Building upon recent advances in conformal prediction [13, 33] and leveraging the classical idea of kernel regression, we propose Locally Valid and Discriminative prediction intervals (LVD), a simple, efficient, and lightweight method to construct discriminative prediction intervals (PIs) for almost any DL model. With no assumptions on the data distribution, such PIs also offer finite-sample local coverage guarantees (contrasted to the simpler marginal coverage). We empirically verify, using diverse datasets, that besides being the only locally valid method for DL, LVD also exceeds or matches the performance (including coverage rate and prediction accuracy) of existing uncertainty quantification methods, while offering additional benefits in scalability and flexibility.

研究の動機と目的

• 理論的裏付けがあり、スケーラブルな不確実性評価が不足している深層学習分野において、有効性と識別性の両方を保証する手法の開発。
• マージナルカバレッジや強い分布の仮定に依存せず、有限標本における局所的カバレッジ保証を提供する後処理手法の開発。
• ベースの深層学習モデルの予測精度と性能を維持しつつ、局所的な入力の複雑さに応じた不確実性推定を可能にする。
• 既存のベイジアン手法やコンフォーマル手法の限界を克服し、頻度的有効性を保証できない、または計算コストが高すぎる問題を解決する。
• アーキテクチャ的・トレーニングプロセスの変更なしに、任意の深層学習モデルに適用可能な軽量で柔軟なフレームワークの提供。

提案手法

• 入力空間における近傍の類似性に基づいて局所的な予測不確実性を推定するため、コンフォーマル予測の原則とカーネル回帰を統合する。
• 各テスト入力の周囲の訓練点の局所的近傍を用い、影響関数と経験的誤差推定を用いて予測区間の幅を計算する。
• 局所的重み付けを施した変更版のスプリットコンフォーマルフレームワークを適用し、入力特徴に条件づけられたカバレッジを保証する局所的有効性を達成する。
• 完全な再トレーニングなしに影響関数を効率的に近似計算する技術を用い、大規模なモデルやデータセットへのスケーラビリティを実現する。
• 局所的なモデルの不確実性に応じて、動的に区間幅を調整するカーネル重み付き誤差推定スキームを導入する。
• 主なトレーニングプロセスから分離された後処理ステップとして不確実性推定を適用することで、モデル性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 深層学習向けの後処理不確実性推定手法は、強い分布の仮定を必要とせず、有限標本における局所的カバレッジ保証を達成できるか？
• RQ2 予測区間をどのように設計すれば、深層学習モデルにおいて、カバレッジの有効性（カバレッジの正確さ）と局所的不確実性への感受性（識別性）の両方を満たせるか？
• RQ3 このような手法は、ベースの深層学習モデルの予測精度を維持しつつ、計算効率的かつスケーラブルに実装可能か？
• RQ4 提案手法は、カバレッジ率、区間幅、局所的なデータ構造への適応性において、既存のベイジアンおよびコンフォーマル手法を上回るか？
• RQ5 この手法は、アーキテクチャ的・トレーニングプロセスの変更なしに、多様なデータセットやモデルアーキテクチャに対してロバストであるか？

主な発見

• 評価された手法の中で、LVDのみが深層学習モデルに対して有限標本における局所的カバレッジ保証を提供する。
• LVDは、最先端手法と同等または高いカバレッジ率を達成するとともに、より狭い予測区間を生成しており、不確実性の識別性が優れていることを示している。
• 実験では、ベースの深層学習モデルの予測精度に劣化が観察されず、性能が維持されている。
• LVDは、ジャックナイーフェン・やDJのような影響関数に基づく手法と比較して、より優れたスケーラビリティを示している。これらの手法は大規模モデルでは計算が非現実的である。
• ボストン・ハービング、QM9、コンクリート、Kin8nmなど多様なデータセットにおける実験結果から、LVDはカバレッジと区間幅の両面で既存手法を上回るか同等の性能を発揮することが確認された。
• 異なるモデルアーキテクチャやデータモダリティにわたり、LVDはロバストであり、その柔軟性と一般化能力が裏付けられた。