[論文レビュー] Calibrated Multiple-Output Quantile Regression with Representation Learning

Shai Feldman, Stephen Bates+1 more|arXiv (Cornell University)|Oct 2, 2021

Generative Adversarial Networks and Image Synthesis被引用数 12

ひとこと要約

本稿では、多変量応答を単峰性の潜在空間に変換するための条件付き変分オートエンコーダ（CVAE）を用いた表現学習を活用し、複数出力の定量回帰手法を提案する。この潜在空間では方向的定量回帰（DQR）を適用し、柔軟で凸でない予測領域を構築する。本手法は、新たな順序統計的予測の拡張により有限標本におけるマージナルカバレッジを保証し、従来手法と比較して顕著に小さく、より正確な予測領域を実現する。

ABSTRACT

We develop a method to generate predictive regions that cover a multivariate response variable with a user-specified probability. Our work is composed of two components. First, we use a deep generative model to learn a representation of the response that has a unimodal distribution. Existing multiple-output quantile regression approaches are effective in such cases, so we apply them on the learned representation, and then transform the solution to the original space of the response. This process results in a flexible and informative region that can have an arbitrary shape, a property that existing methods lack. Second, we propose an extension of conformal prediction to the multivariate response setting that modifies any method to return sets with a pre-specified coverage level. The desired coverage is theoretically guaranteed in the finite-sample case for any distribution. Experiments conducted on both real and synthetic data show that our method constructs regions that are significantly smaller compared to existing techniques.

研究の動機と目的

• 多変量定量回帰における長方形または凸領域の制限を解消し、応答変数に内在する複雑な非凸な不確実性構造を捉えること。
• 有限標本のi.i.d.仮定下で、ユーザー指定の理論的保証付きマージナルカバレッジ（1−α）を達成する多変量予測領域を構築すること。
• 応答変数を単峰性の潜在空間に変換することで、方向的定量回帰がより効果的に機能するようになり、その後元の空間に逆変換することで領域効率を向上させること。
• 初期カバレッジに基づいて領域サイズを調整する2ケースの順序統計的予測スキームを用いて、最終的な予測領域のキャリブレーションを保証すること。
• 提案手法が、合成データおよび実世界データの両方で、ベースライン手法と比較してより小さく、より情報量の多い予測領域を生成することを示すこと。

提案手法

• 多変量応答Yを低次元の単峰性潜在表現Zに写像するための条件付き変分オートエンコーダ（CVAE）を訓練し、Z|Xの条件付き分布がおおよそ標準正規分布に近くなるように保証する。
• 潜在空間Zにおいて方向的定量回帰（DQR）を適用し、複数方向の推定定量値で定義される半空間の共通部分として予測領域を構築する。
• 得られたZ空間におけるDQR領域を逆CVAEを用いて元の応答空間Yに変換し、非凸的で柔軟な予測領域を生成する。
• 有限標本におけるマージナルカバレッジを保証するための、DQR領域に特化した新しい順序統計的予測フレームワークを導入する。初期実証的カバレッジに基づいて領域サイズを調整（ケース1：カバー率が低すぎる場合に拡大；ケース2：高すぎる場合に縮小）。
• キャリブレーション手順は2段階で実施：まず、基本領域の実証的カバレッジを計算し、次に初期カバレッジが名目水準未満か超過かに応じてスケーリングまたはしきい値戦略を適用する。
• 最終的なY空間における予測領域は、Z空間におけるキャリブレート済み領域に逆CVAEを適用することで得られ、カバレッジ保証が維持されるとともに領域のcompactnessが向上する。

実験結果

リサーチクエスチョン

• RQ1 CVAEによる表現学習により、応答変数を単峰性潜在空間に変換することで、多変量定量回帰領域の柔軟性と効率性が向上するか？
• RQ2 学習済み潜在空間で方向的定量回帰を適用することで、直接的な多変量定量回帰と比較して、より正確でかつ過剰に保守的な予測領域が得られるか？
• RQ3 順序統計的予測の拡張が、理論的保証付きで有限標本におけるマージナルカバレッジを達成できるように、多変量応答設定に適応可能か？
• RQ4 提案手法は、ナイーブなマージナル定量回帰やベクトル定量回帰といった従来手法と比較して、領域サイズおよびカバレッジ精度の点でどのように優れているか？
• RQ5 潜在次元数および名目カバレッジ水準が、キャリブレート済み領域の実証的カバレッジに与える影響は何か？

主な発見

• 提案手法は、合成データおよび実世界データの両方で、ベースライン手法と比較して顕著に小さな予測領域を構築することを実証し、効率性の向上を示している。
• 本手法は、任意の分布に対して理論的有限標本マージナルカバレッジ保証を達成しており、真の応答が予測領域内に入る確率が少なくとも1−α以上であることを保証する。
• CVAEを用いて応答を単峰性潜在空間に写像することで、非凸的で形状に柔軟性を持つ予測領域を構築可能となり、真の不確実性構造をよりよく反映する。
• キャリブレーション手順は初期カバレッジに基づいて領域サイズを効果的に調整し、ケース1（初期カバレッジ < 1−α）とケース2（初期カバレッジ > 1−α）に対して別々の戦略を適用することで、ロバスト性を確保する。
• 実証的結果から、本手法は領域体積を削減しながらも、カバレッジを維持または向上させており、特に真の応答分布が非楕円的または非凸的な場合に顕著に効果的である。
• 本手法はスケーラブルで効率的であり、50個の入力特徴までを含むほとんどの設定でも、実行時間は1時間未満、メモリ使用量は13 GB未満に収まる。