[論文レビュー] A Novel Smoothed Loss and Penalty Function for Noncrossing Composite Quantile Estimation via Deep Neural Networks

Kostas Hatalis, Alberto J. Lamadrid+2 more|arXiv (Cornell University)|Sep 24, 2019

Energy Load and Power Forecasting参考文献 53被引用数 14

ひとこと要約

本論文は、確率的風力発電予測のための深層ニューラルネットワークにおける非交差複合分位数推定を可能にする、新しい滑らかな損失関数とペナルティ関数を用いたスムーズピンバルニューラルネットワーク（SPNN）を提案する。非微分可能なピンバルス損失をロジスティックベースの滑らかな近似に置き換え、微分可能ペナルティを用いて単調性を強制することで、SPNNは優れた分位数精度、信頼性、鋭さを達成し、平均分位数スコア0.042を記録するなど、トップGECOM2014チームを上回る性能を発揮した。

ABSTRACT

Uncertainty analysis in the form of probabilistic forecasting can significantly improve decision making processes in the smart power grid when integrating renewable energy sources such as wind. Whereas point forecasting provides a single expected value, probabilistic forecasts provide more information in the form of quantiles, prediction intervals, or full predictive densities. Traditionally quantile regression is applied for such forecasting and recently quantile regression neural networks have become popular for weather and renewable energy forecasting. However, one major shortcoming of composite quantile estimation in neural networks is the quantile crossover problem. This paper analyzes the effectiveness of a novel smoothed loss and penalty function for neural network architectures to prevent the quantile crossover problem. Its efficacy is examined on the wind power forecasting problem. A numerical case study is conducted using publicly available wind data from the Global Energy Forecasting Competition 2014. Multiple quantiles are estimated to form 10\%, to 90\% prediction intervals which are evaluated using a quantile score and reliability measures. Benchmark models such as the persistence and climatology distributions, multiple quantile regression, and support vector quantile regression are used for comparison where results demonstrate the proposed approach leads to improved performance while preventing the problem of overlapping quantile estimates.

研究の動機と目的

• 深層ニューラルネットワークを用いた複数分位数回帰における分位数の交差問題に対処すること。
• 分位数推定のためのエンドツーエンド学習を可能にする、微分可能で滑らかなピンバルス損失関数の近似を考案すること。
• 後処理や制約を必要とせず、推定された分位数の単調性を保証する滑らかなペナルティ関数を導入すること。
• 実世界の風力発電データを用いて、予測区間の信頼性と鋭さを向上させるSPNNモデルの評価を行うこと。
• パーよりも精度の高い手法、すなわち、恒常性、気候論、複数分位数回帰、サポートベクタ分位数回帰を含む、標準的および先進的な手法とSPNNを比較すること。

提案手法

• 複数分位数回帰のための深層ニューラルネットワークの微分可能学習を可能にする、ロジスティックベースのピンバルス損失関数の滑らかな近似を提案する。
• 隣接する分位数の重複度を測定することで、非単調な分位数推定をペナルティ化する滑らかなペナルティ関数を導入する。
• 10番目から90番目の百分位数を一度のフォワードパスで同時に推定できる深層ニューラルネットワークアーキテクチャを設計する。
• 滑らかなピンバルス損失と滑らかなペナルティを組み合わせた複合目的関数を採用し、精度と単調性の両方を同時に最適化する。
• 豊富な特徴工学を施さずに、GEFCom2014データセットの生の風速および時系列特徴を用いてSPNNモデルを学習する。
• 評価指標として、分位数スコア（QS）、区間スコア（IS）、カバレッジエラー（ACE）、鋭さを用い、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ピンバルス損失関数の滑らかで微分可能な近似は、深層ニューラルネットワークを用いた分位数回帰における学習安定性と性能を向上させるか？
• RQ2 滑らかなペナルティ関数は、モデルの精度を損なわず、後処理を要せず、分位数の交差を効果的に防止できるか？
• RQ3 実世界の風力発電データにおいて、SPNNモデルは分位数スコア、予測区間の信頼性、鋭さの観点で、既存のベンチマークと比較してどのように差をつけるか？
• RQ4 SPNNは、豊富な特徴工学を用いずに、生の入力特徴のみでGEFCom2014コンペティションの上位モデルと同等の性能を達成できるか？
• RQ5 SPNNモデルは、異なる風力発電所および予測期間において、適切な分位数順序をどの程度維持できるか？

主な発見

• SPNN2は、すべての風力発電所および月において平均分位数スコア0.042を記録し、GEFCom2014コンペティションで優勝したチームのスコア0.038に非常に近い結果を達成した。
• SPNN2は分位数スコア範囲が最小（0.036～0.047）であり、複数分位数回帰やサポートベクタ分位数回帰を含むすべてのベンチマークを上回った。
• SPNNは平均カバレッジエラー（ACE）が最小で、中央値がSPNN1未満であったため、予測区間の信頼性が優れていた。
• 区間スコアおよび鋭さスコアの観点から、SPNNは最も鋭い予測区間を生成し、すべての発電所で四分位範囲が最も狭かった。
• すべてのデータセットにおいて、事前に設定された予測区間カバレッジ水準を満たしており、過剰または不足カバレッジが生じない一貫した信頼性を確認した。
• 豊富な特徴工学を用いずに、生の風速および時系列データのみを用いても、SPNNはGEFCom2014上位チームと同等の性能を達成した。