[論文レビュー] A graphical analysis of cost-sensitive regression problems

José Hernández‐Orallo|arXiv (Cornell University)|Nov 10, 2012

Imbalanced Data Classification Techniques参考文献 51被引用数 57

ひとこと要約

本稿では、過剰推定と過小推定をプロットする、コスト感受性回帰のための新しいグラフィカルフレームワークである回帰ROC（RROC）空間を導入する。分類におけるしきい値に類似したシフトパラメータを用いることで、さまざまな運用状態におけるモデルのパフォーマンスを可視化できる。主な発見として、RROC曲線の上側面積（AOC）が誤差分散に等しい（定数倍を除いて）ことが判明し、RROC分析が根本的な回帰指標と直接結びつくことが示された。

ABSTRACT

Several efforts have been done to bring ROC analysis beyond (binary) classification, especially in regression. However, the mapping and possibilities of these proposals do not correspond to what we expect from the analysis of operating conditions, dominance, hybrid methods, etc. In this paper we present a new representation of regression models in the so-called regression ROC (RROC) space. The basic idea is to represent over-estimation on the x axis and under-estimation on the y axis. The curves are just drawn by adjusting a shift, a constant that is added (or subtracted) to the predictions, and plays a similar role as a threshold in classification. From here, we develop the notions of optimal operating condition, convexity, dominance, and explore several evaluation metrics that can be shown graphically, such as the area over the RROC curve (AOC). In particular, we show a novel and significant result, the AOC is equal to the error variance (multiplied by a factor which does not depend on the model). The derivation of RROC curves with non-constant shifts and soft regression models, and the relation with cost plots is also discussed.

研究の動機と目的

• 回帰における標準的なROCに類似したグラフィカル分析の欠如、特に非対称損失関数下での課題を解決すること。
• 分類におけるしきい値と類似したコスト非対称性を用いて、回帰における運用条件の概念を形式化すること。
• 支配、凸包、ハイブリッドモデルといった概念をサポートする、RROC空間と呼ばれるグラフィカルフレームワークを構築すること。
• RROC曲線の面積（AOC）と誤差分散の直接的な関係を確立し、回帰評価の新たな解釈の枠組みを提供すること。
• 異なるコスト条件に適応可能なシフトベースの適応手法を提供することで、回帰モデルの実用的導入を促進すること。

提案手法

• 過剰推定をx軸、過小推定をy軸にとるRROC空間を提案し、誤差タイプの二重表現を形成する。
• 分類におけるしきい値に類似したシフトパラメータを導入し、予測値の調整によってさまざまな運用状態に適合可能にする。
• 予測値に定数を加えることでシフトを変化させ、コスト比に応じたパフォーマンス可視化が可能なRROC曲線を生成する。
• 非対称損失関数に基づき、等コスト領域（等コスト等高線）をRROC空間に定義する。
• RROC曲線の凸包を導出し、個々のモデルを上回るハイブリッド回帰器を構築する。
• AOCが誤差分散に数学的に等しい（モデルに依存しない定数倍を除く）ことを示した。

実験結果

リサーチクエスチョン

• RQ1 分類におけるROC曲線の解釈可能性と有用性に類似した、回帰モデルのためのグラフィカル表現を開発可能か？
• RQ2 回帰における運用条件、特にコスト非対称性の概念は、どのように形式化され、可視化可能か？
• RQ3 RROC空間におけるAOCと誤差分散といった根本的な回帰指標との関係は何か？
• RQ4 支配、凸包、ハイブリッドモデルといった概念は、RROC空間を通じて分類から回帰へどのように拡張可能か？
• RQ5 RROC空間におけるシフトベースの調整は、新たな展開条件に適合する回帰モデルの適応に実用的であるか？

主な発見

• RROC曲線の上側面積（AOC）は、モデルに依存しない定数倍を除き、回帰モデルの誤差分散に数学的に等しい。
• RROC空間は、分類におけるROCと同様のコアな概念をサポートする：運用条件、支配、凸包、ハイブリッドモデル。
• RROCにおけるシフトパラメータは、分類におけるしきい値と類似した役割を果たし、異なるコスト比に適合したモデル適応を可能にする。
• シフトを変化させることでRROC曲線をアルゴリズム的に生成でき、コスト非対称性にわたる連続的なパフォーマンス可視化が可能になる。
• 凸包を用いたハイブリッド回帰器の構築が可能であり、さまざまな運用条件において最適なパフォーマンスを保証できる。
• RROCフレームワークは、分散やMSE分解といった重要な回帰指標との間で、直接的かつ解釈可能なリンクを提供する。