[論文レビュー] Regression Prior Networks

Andrey Malinin, Sergey Chervontsev+2 more|arXiv (Cornell University)|Jun 20, 2020

Anomaly Detection Techniques and Applications参考文献 42被引用数 18

ひとこと要約

本稿では、予測不確実性をモデル化するための正規・ウィッシュァート分布を用いた回帰のための新しい手法、回帰事前分布ネットワーク（RPN）を提案する。事前分布ネットワークとアンサンブル分布蒸留（EnD²）を回帰タスクに拡張することで、RPNは1つのモデルでアンサンブルレベルの性能と不確実性のキャリブレーションを達成し、UCIデータセットおよび単眼深度推定ベンチマークにおいて、最先端の単一モデルおよび蒸留手法を上回る性能を発揮する。

ABSTRACT

Prior Networks are a recently developed class of models which yield interpretable measures of uncertainty and have been shown to outperform state-of-the-art ensemble approaches on a range of tasks. They can also be used to distill an ensemble of models via Ensemble Distribution Distillation (EnD$^2$), such that its accuracy, calibration and uncertainty estimates are retained within a single model. However, Prior Networks have so far been developed only for classification tasks. This work extends Prior Networks and EnD$^2$ to regression tasks by considering the Normal-Wishart distribution. The properties of Regression Prior Networks are demonstrated on synthetic data, selected UCI datasets and a monocular depth estimation task, where they yield performance competitive with ensemble approaches.

研究の動機と目的

• 自動運転などの高リスクなAIアプリケーションにおいて、解釈可能な不確実性推定が欠如しているという問題に対処すること。
• 分類タスクに限定されていた事前分布ネットワークを、正規・ウィッシュァート分布を用いて回帰タスクに拡張すること。
• 回帰における全不確実性、データ不確実性、知識不確実性の閉形式表現を導出することにより、数学的に整合性のある不確実性分解を可能にすること。
• 逆Kullback-Leibler（KL）ダイバージェンスによるOODデータを用いた訓練とEnD²蒸留を用いた2つの訓練フレームワークを提案し、OODデータを必要とせずにアンサンブルの性能と不確実性を保持すること。
• 実世界の回帰タスク、特に不確実性キャリブレーションが不可欠な単眼深度推定において、RPNの有効性を実証すること。

提案手法

• 予測分布をニューラルネットワークでパラメータ化された多変量正規分布でモデル化し、平均μと精度行列Λを用いる。
• μとΛのための共役事前分布として正規・ウィッシュァート分布を用い、閉形式での不確実性計算と効率的な推論を可能にする。
• 全不確実性（予測分布の分散）、データ不確実性（エピステミック分散）、知識不確実性（平均のエピステミック分散）の解析的表現を導出する。
• RPNを、モデルの正規・ウィッシュァート分布とターゲット分布との間の逆KLダイバージェンスにより訓練し、OODデータを用いた監視を必要とする。
• アンサンブルの予測性能と不確実性推定値を1つのRPNに転送するため、EnD²を用いて蒸留を行い、OODデータを必要としない。
• EnD²の目的関数を用い、アンサンブルの予測分布とRPNの予測分布との間の逆KLダイバージェンスを最小化することで、精度と不確実性の挙動を両立させる。

実験結果

リサーチクエスチョン

• RQ1 共役事前分布を用いて、分類タスクから回帰タスクへの事前分布ネットワークの成功した拡張は可能か？
• RQ2 正規・ウィッシュァート分布を用いて、回帰における全不確実性、データ不確実性、知識不確実性の閉形式表現を導出できるか？
• RQ3 OODデータを必要とせず、アンサンブルの予測性能と不確実性推定値を1つのRPNに効果的に転送できるか？
• RQ4 EnD²を用いたRPNは、最先端の単一モデルおよび蒸留ベースの回帰モデルと比較して、精度および分布外検出性能において優れているか？
• RQ5 深さ推定のようなスケールに敏感な回帰タスクにおいて、分散に基づく測定と情報理論的測定の相対的な長所と短所は何か？

主な発見

• 回帰事前分布ネットワーク（RPN）は、正規・ウィッシュァート分布を用いて、全不確実性、データ不確実性、知識不確実性の閉形式計算を可能にすることで、事前分布ネットワークフレームワークを回帰タスクに成功裏に拡張した。
• EnD²で蒸留されたRPNは、NYUv2およびKITTIの単眼深度推定ベンチマークで最先端の性能を達成し、予測精度と不確実性キャリブレーションの両面で、単一モデルおよび蒸留ベースのベースラインを上回った。
• NYUv2データセットでは、分散に基づく不確実性測定でOOD検出のAUC-ROCが99.9％に達したが、KITTIではスケールに依存しない測定（MIやEPKL）が分散ベースの手法を上回った。これは、低深度予測に対する感度の高さに起因する。
• EnD²で訓練されたモデルは、誤差マップと不確実性マップの両方で、元のアンサンブルの不確実性挙動を正確に再現しており、不確実性特性の効果的な蒸留が実現したことを示している。
• 分散ベースの不確実性測定はKITTIで失敗した。低深度予測におけるスケール感受性により、誤って低い不確実性が推定されたが、情報理論的測定（MIやEPKL）はその影響を受けず、安定性を保った。
• 深層証拠回帰（DER）はKITTIで失敗した。証拠正則化子が低誤差領域での不確実性を抑制するため、近距離のOODサンプルが誤ってインドメインと分類された。