[論文レビュー] Deep Non-Crossing Quantiles through the Partial Derivative

Axel Brando, Joan Gimeno+2 more|arXiv (Cornell University)|Jan 30, 2022

Fault Detection and Control Systems被引用数 4

ひとこと要約

本稿では、クーリエ展開を用いて分位数関数の偏導関数をモデル化することで、非交差分位数を保証する深層学習フレームワークを提案する。この手法により、機械精度まで単調性が保証され、多数の実世界データセットにおいて最先端の対数尤度性能を達成する。

ABSTRACT

Quantile Regression (QR) provides a way to approximate a single conditional quantile. To have a more informative description of the conditional distribution, QR can be merged with deep learning techniques to simultaneously estimate multiple quantiles. However, the minimisation of the QR-loss function does not guarantee non-crossing quantiles, which affects the validity of such predictions and introduces a critical issue in certain scenarios. In this article, we propose a generic deep learning algorithm for predicting an arbitrary number of quantiles that ensures the quantile monotonicity constraint up to the machine precision and maintains its modelling performance with respect to alternative models. The presented method is evaluated over several real-world datasets obtaining state-of-the-art results as well as showing that it scales to large-size data sets.

研究の動機と目的

• 予測された分位数が単調性を破るという、深層分位数回帰における深刻な問題に対処すること。
• 予測性能を犠牲にすることなく、条件付き分位数関数における単調性を強制する汎用的な深層学習ラッパーを開発すること。
• 予測された分位数が分位数レベルτに関して厳密に増加するように保証し、条件付き分布の有効性を維持すること。
• 実世界のデータセット上で手法を評価し、最先端の分位数回帰モデルと性能を比較すること。
• 大規模データに対してスケーラビリティとロバストネスを示しながら、機械精度まで単調性を維持すること。

提案手法

• 分位数関数のτに関する偏導関数を、正の係数を出力するニューラルネットワークでモデル化する。
• 学習された導関数を統合することで分位数関数を再構築するため、チェビシェフ多項式近似を用い、単調性を保証する。
• ニューラルネットワークは、多項式の係数を定義するd個の正の値（根）を出力する。
• ソフトプラス活性化関数にわずかなシフトを加えることで、ネットワーク出力を厳密に正に保ち、導関数の正の性質を強制する。
• 各訓練ステップでτを[0,1]から一様にサンプリングし、分位数回帰損失における積分をモンテカルロ近似で訓練する。
• 多項式表現における非負の係数を強制するために、ネットワークの重みにReLU活性化関数を適用する。

実験結果

リサーチクエスチョン

• RQ1 予測性能を損なわせることなく、予測分位数の単調性を保証できる深層学習モデルを設計できるか？
• RQ2 分位数関数の偏導関数をどのようにパラメータ化すれば、非交差分位数を保証できるか？
• RQ3 チェビシェフ多項式近似を用いて単調性を強制することで、従来の手法と比較してより優れた対数尤度性能が得られるか？
• RQ4 提案手法は大規模データに対してスケーラブルであり、単調性と高い予測精度を維持できるか？
• RQ5 分位数の交差と尤度推定の観点から、最先端の分位数回帰モデルと比較して、本手法はどのように差をつけるか？

主な発見

• 提案手法は8つのUCIデータセットにおいて、すべてで最先端の対数尤度性能を達成し、IQN、PCDN、NAMを上回った。
• 導関数近似の単調性によって保証されるように、すべての実験で分位数の交差はゼロとなった。
• 標準的な分位数回帰モデルとは異なり、機械精度まで単調性を維持しながら、高い予測性能を維持した。
• Titan XおよびRTX 2080 GPU搭載ワークステーションを用いた実験で、大規模データに対して効果的にスケーリングできることを示した。
• PCDNと提案手法の両方のみが単調性を保証しており、IQNなど他の手法は顕著な分位数交差を示した。
• 全20のデータ分割において、提案手法の交差分位数の数はゼロであり、そのロバストネスと有効性が確認された。