[論文レビュー] Autoregressive Quantile Flows for Predictive Uncertainty Estimation

Phillip Si, Allan Bishop+1 more|arXiv (Cornell University)|Dec 9, 2021

Model Reduction and Neural Networks被引用数 4

ひとこと要約

この論文では、最大尤度の代わりに適切なスコアリングルールを用いることで、コストの高いヤコビアン行列式の計算を回避する、自己回帰的分位数フロー（AQFs）という正規化フロー枠組みを導入する。この手法により、柔軟なニューラルアーキテクチャを用いた効率的な学習とサンプリングが可能となり、時系列予測、オブジェクト検出、生成モデル分野における予測不確実性推定が著しく向上し、CRPSおよびサンプル品質ベンチマークで最先端の性能を達成した。

ABSTRACT

Numerous applications of machine learning involve representing probability distributions over high-dimensional data. We propose autoregressive quantile flows, a flexible class of normalizing flow models trained using a novel objective based on proper scoring rules. Our objective does not require calculating computationally expensive determinants of Jacobians during training and supports new types of neural architectures, such as neural autoregressive flows from which it is easy to sample. We leverage these models in quantile flow regression, an approach that parameterizes predictive conditional distributions with flows, resulting in improved probabilistic predictions on tasks such as time series forecasting and object detection. Our novel objective functions and neural flow parameterizations also yield improvements on popular generation and density estimation tasks, and represent a step beyond maximum likelihood learning of flows.

研究の動機と目的

• 正規化フローにおけるヤコビアン行列式の計算負荷を軽減し、ニューラルアーキテクチャの選択を制限しないようにすること。
• 正規化フローを用いた予測分布の直接的パラメータライゼーションにより、確率的予測を改善すること。
• 最大尤度を避けることで学習を簡素化し、フロー学習を容易にする適切なスコアリングルールに基づく学習目的を確立すること。
• 新しいニューラル自己回帰的フローアーキテクチャにより、高速かつ柔軟なサンプリングを可能にすること。
• 従来のフローベースおよび確率的モデルと比較して、不確実性推定および生成モデル分野で優れた性能を示すこと。

提案手法

• 最大尤度の代わりに適切なスコアリングルールに基づく新しい学習目的を提案し、学習中にヤコビアン行列式の計算を回避する。
• 自己回帰的分位数フロー（AQFs）を導入し、学習可能な柔軟なニューラルネットワークを用いた可逆的かつ自己回帰的な変換により予測分布をパラメータライズする正規化フロー・モデルを構築する。
• フローの分位数ベースのパラメータライゼーションを採用し、高次元空間における条件付き分位数および累積分布関数の直接的モデリングを可能にする。
• 任意のニューラルアーキテクチャ（LSTM やフィードフォワードネットワークを含む）を用いた効率的なサンプリングと学習を可能にする前向き学習フレームワークを採用する。
• モデルが出力する完全な正規化フローを予測分布として用いることで、非パラメトリックな不確実性推定を可能にする分位数フロー回帰（QFR）にフレームワークを適用する。
• 正規化フローとニューラル自己回帰的フローを統合し、表現力があり、計算が容易で、効率的な確率的モデリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 適切なスコアリングルールに基づく学習目的は、モデルの表現力に損なわれることなく、最大尤度の代替として正規化フローに適用可能か？
• RQ2 自己回帰的分位数フローは、柔軟なニューラルアーキテクチャをサポートしながらも、効率的な学習とサンプリングを維持できるか？
• RQ3 分位数フロー回帰は、時系列予測およびオブジェクト検出において、従来の確率的モデルと比較してより優れた予測不確実性推定を達成できるか？
• RQ4 分位数フローの性能は、最大尤度ベースのフローおよびGANと比較して、密度推定および画像生成タスクで優れているか？
• RQ5 分位数フローは、一変量分位数関数を多変量分布へ一般化したものと解釈できるか？

主な発見

• AQFsは、複数のUCIデータセットにおいてCRPS（連続ランク確率スコア）で最先端の性能を達成し、最大尤度ベースのMAFおよび分位数損失ベースのMAFを上回った。
• UCIデータセットにおいて、NAQFはBSDS300で0.033、Minibooneで0.525、Gasで0.513、Powerで0.502、Hepmassで0.523のCRPS値を達成し、MAF-LLおよびMAF-QLを著しく上回った。
• 画像生成タスクでは、NAQFは最小のディスクラミネータ精度（0.723）とCRPS（2.14）を達成し、MAF-LL（D-loss: 0.978）およびMAF-QL（D-loss: 0.779）よりも優れたサンプル品質を示した。
• 時系列予測においては、AQFはDeepARを上回る不確実性推定性能を示し、32.1%の時系列でCRPSが改善され、予測された分位数における真値のカバー率も向上した。
• 本手法により、柔軟なニューラルアーキテクチャ（例：LSTM）を用いた学習と高速なサンプリングが可能になったが、従来のフローモデルではサンプリングに逆方向パスが必要であった。
• 提案された目的関数により、ヤコビアン行列式の計算を回避できるため、実装が簡素化され、フローモデルにおける使用可能なニューラルネットワークの範囲が拡大された。