[論文レビュー] A new asymmetric $\epsilon$-insensitive pinball loss function based support vector quantile regression model

Pritam Anand, Reshma Rastogi+1 more|arXiv (Cornell University)|Aug 19, 2019

Statistical Methods and Inference参考文献 11被引用数 4

ひとこと要約

本稿では、サポートベクタークォンタイル回帰（SVQR）のための非対称 ϵ-感度ピンバック損失関数を提案する。この手法により、固定幅かつ τ に依存する非対称 ϵ-感度領域を実現でき、スパarsity（スパarsity）と予測精度が向上する。得られる ϵ-SVQR モデルは、人工的および実世界の UCI データセットにおいて、一般化性能とスパarsityの面で既存の SVQR 手法を上回る性能を示した。

ABSTRACT

In this paper, we propose a novel asymmetric $\epsilon$-insensitive pinball loss function for quantile estimation. There exists some pinball loss functions which attempt to incorporate the $\epsilon$-insensitive zone approach in it but, they fail to extend the $\epsilon$-insensitive approach for quantile estimation in true sense. The proposed asymmetric $\epsilon$-insensitive pinball loss function can make an asymmetric $\epsilon$- insensitive zone of fixed width around the data and divide it using $ au$ value for the estimation of the $ au$th quantile. The use of the proposed asymmetric $\epsilon$-insensitive pinball loss function in Support Vector Quantile Regression (SVQR) model improves its prediction ability significantly. It also brings the sparsity back in SVQR model. Further, the numerical results obtained by several experiments carried on artificial and real world datasets empirically show the efficacy of the proposed `$\epsilon$-Support Vector Quantile Regression' ($\epsilon$-SVQR) model over other existing SVQR models.

研究の動機と目的

• 既存の SVQR モデルでは真の ϵ-感度領域が統合されていないため、スパarsity と一般化性能を保証できないという問題に対処する。
• 従来の非対称 ϵ-感度ピンバック損失関数における対称的 ϵ-チューブや可変幅領域の制限を克服する。
• 固定幅かつ τ に依存する非対称 ϵ-感度領域を実現できる損失関数を開発し、正確なクォンタイル推定を可能にする。
• 原理的かつ凸最適化フレームワークに基づいて ϵ-感度アプローチを統合することで、SVQR の一般化性能とスパarsity を向上させる。
• 人工的および実世界のデータセットを用いた広範な実験を通じて、提案された ϵ-SVQR モデルの有効性を実証する。

提案手法

• クォンタイル水準 τ を用いて固定幅 ϵ-ゾーンを分割する、新しい非対称 ϵ-感度ピンバック損失関数を提案する。
• この損失関数を SVQR フレームワークに統合し、凸性を保ちつつ二次計画法による効率的最適化を可能にする。
• 新しい損失関数と正則化項を最小化する制約付き最適化問題として ϵ-SVQR モデルを定式化する。
• 一般化性能を保証するため、構造的リスク最小化の原則を適用する。
• 推定クォンタイル関数の周囲で非対称な ϵ-感度領域を確保し、幅は τ ではなくデータの分散に依存するようにする。
• 標準的な SVM ソルバーを用いてモデルを実装し、ϵ-感度領域に起因するスパarsity を活かしてサポートベクター数を削減する。

実験結果

リサーチクエスチョン

• RQ1 固定幅を維持し、τ に依存する真の非対称 ϵ-感度領域をクォンタイル回帰に構築できるか？
• RQ2 SVQR に ϵ-感度領域を統合することで、標準的な SVQR と比較してモデルのスパarsity と予測精度が向上するか？
• RQ3 提案された損失関数は凸であり、効率的な最適化に適しているか？ また、経験的リスクを低減できるか？
• RQ4 ϵ の選択が、さまざまなクォンタイルおよびデータセットにおける ϵ-SVQR モデルの性能とスパarsity に与える影響は何か？
• RQ5 異なる実世界および人工的データセットにおいて、ϵ-SVQR モデルは既存の SVQR モデルよりも一般化性能が優れているか？

主な発見

• 提案された非対称 ϵ-感度ピンバック損失関数は凸であり、従来の対称的または可変幅アプローチとは異なり、固定幅かつ τ に依存する非対称 ϵ-ゾーンを保証する。
• ϵ-SVQR モデルは、標準的な SVQR と比較して RMSE において顕著な改善を示し、ボストン・ハーベスティング・データセットの τ = 0.1 において最小で 10.5% の誤差低減を達成した。
• Servo データセットでは、τ = 0.9 のとき RMSE が最大で 12.5% 減少し、スパarsity は 21.17% に達した。
• Traizines データセットでは τ = 0.8 のときスパarsity が最大で 62.38% を記録し、強いサポートベクター数の削減を示した。
• 全テスト対象の τ 値において、予測精度とスパarsity の両面で、標準的な SVQR や Sparse SVQR を上回る性能を示した。
• 最適な ϵ 値は応答変数の分散と相関関係にあり、データ駆動型の選択戦略が有効であることを示唆した。