[論文レビュー] Flexible Model Aggregation for Quantile Regression

Rasool Fakoor, Taesup Kim+3 more|arXiv (Cornell University)|Feb 26, 2021

Advanced Statistical Methods and Models被引用数 7

ひとこと要約

本稿では、予測精度とキャリブレーションを向上させるために、複数の条件付き分位数回帰モデルを統合する柔軟なディープラーニングベースのフレームワークを提案する。入力に依存する可学習重みと、等方的回帰またはソーティングによる後処理を用いることで、分位数の単調性を保証し、コントフォーマルキャリブレーションにより有効なカバレッジを達成する。34のデータセットにわたる包括的なベンチマークにおいて、既存の手法を上回る性能を発揮する。

ABSTRACT

Quantile regression is a fundamental problem in statistical learning motivated by a need to quantify uncertainty in predictions, or to model a diverse population without being overly reductive. For instance, epidemiological forecasts, cost estimates, and revenue predictions all benefit from being able to quantify the range of possible values accurately. As such, many models have been developed for this problem over many years of research in statistics, machine learning, and related fields. Rather than proposing yet another (new) algorithm for quantile regression we adopt a meta viewpoint: we investigate methods for aggregating any number of conditional quantile models, in order to improve accuracy and robustness. We consider weighted ensembles where weights may vary over not only individual models, but also over quantile levels, and feature values. All of the models we consider in this paper can be fit using modern deep learning toolkits, and hence are widely accessible (from an implementation point of view) and scalable. To improve the accuracy of the predicted quantiles (or equivalently, prediction intervals), we develop tools for ensuring that quantiles remain monotonically ordered, and apply conformal calibration methods. These can be used without any modification of the original library of base models. We also review some basic theory surrounding quantile aggregation and related scoring rules, and contribute a few new results to this literature (for example, the fact that post sorting or post isotonic regression can only improve the weighted interval score). Finally, we provide an extensive suite of empirical comparisons across 34 data sets from two different benchmark repositories.

研究の動機と目的

• 複数の条件付き分位数モデルを統合する汎用的手法を開発し、予測精度とロバスト性を向上させること。
• 入力の特徴に応じて予測された分位数の単調性を保証するため、後処理または正則化手法を用いること。
• コントフォーマル予測を用いて、さまざまなデータセットで名目レベルの有効なカバレッジを達成するように予測区間をキャリブレーションすること。
• 既存の分位数回帰モデルとシームレスに統合可能なスケーラブルでディープラーニング互換のフレームワークを提供すること。
• 幅広い実世界のデータセットにおいて、提案手法の集約戦略を最先端の手法と比較して実証的に評価すること。

提案手法

• 重み付きアンサンブルアプローチを採用し、重みが入力特徴、モデル、分位数レベルに応じて変化するように設計することで、文脈に適応した柔軟なモデル結合を実現する。
• ニューラルネットワークでパrameter化された可学習重み関数を用いることで、入力の文脈に応じてベースモデルの重要性を動的に割り当てる。
• 分位数の単調性を保証するために、後処理手法としてポストソーティングや等方的回帰（PAVA）を適用する。
• 最適化中に単調性を促進するペナルティベースの訓練戦略を用いることで、後処理の必要性を低減する。
• 予測区間の有効なカバレッジを保証するために、CQR-CV+手法を用いてコントフォーマル予測を適用する。
• 任意のディープラーニングツールキットで訓練されたベース分位数回帰モデルと互換性があり、スケーラビリティと実装の容易さを実現する。

実験結果

リサーチクエスチョン

• RQ1 柔軟で入力に依存する重み付けスキームは、多様なデータセットにおいて分位数回帰アンサンブルの精度を向上させることができるか？
• RQ2 後処理または正則化を用いて予測された分位数の単調性を強制することで、予測区間の信頼性が向上するか？
• RQ3 コントフォーマルキャリブレーションを分位数集約フレームワークに効果的に統合できるか？ これにより、区間幅に悪影響を与えることなく有効なカバレッジを達成できるか？
• RQ4 幅広い実世界のデータにおいて、さまざまな集約戦略は重み付き区間スコアとカバレッジ精度の観点でどのように比較されるか？
• RQ5 モデルの柔軟性、単調性の強制、有効なカバレッジを1つのエンドツーエンドフレームワークで統合できる実用的でスケーラブルな手法は存在するか？

主な発見

• ポストソーティングとコントフォーマルキャリブレーションを施した提案されたDQAモデルは、34のベンチマークデータセットすべてで最も一貫性があり正確なカバレッジを達成し、平均や中央値のような標準的アグリゲーターを上回った。
• ポストソーティングおよびポスト等方的回帰（PAVA）は、重み付き区間スコア（WIS）を厳密に改善することが実証され、理論的期待と一致した。
• コントフォーマライズドDQAは、すべての個別のデータセットで少なくとも80％のカバレッジを達成したが、非コントフォーマライズドモデルは複数のケースで有効なカバレッジを維持できなかった。
• コントフォーマライズドDQAは、平均で区間長が最大75％まで増加したが、通常は0〜30％の範囲で増加し、平均や中央値アグリゲーターと比較してはるかに効率的であった。
• QRAおよびFQRAはDQAと同等の区間長を示したが、特に個別のデータセットにおいてカバレッジのロバスト性が劣っていた。
• DQAに単純なポストソーティングとCQR-CV+コントフォーマライゼーションを組み合わせた手法が、実証的評価において最も効果的かつロバストな手法であった。