[論文レビュー] Soft (Gaussian CDE) regression models and loss functions

José Hernández‐Orallo|arXiv (Cornell University)|Nov 5, 2012

Statistical Methods and Inference参考文献 62被引用数 9

ひとこと要約

本稿では、非対称損失、拒否ルール、入札ベースの応用を含むコスト感受性回帰問題に対して、再訓練を伴わずに最適な予測を可能にする軽量なフレームワークを提案する。このフレームワークは、期待損失のインスタンス依存最適化による予測の再定式化を通じて、ソフト（ガウス条件付き密度推定、またはCDE）モデルを用いる。主な貢献は、任意のクリップス回帰モデルを二パラメータのソフトモデル（平均と分散）に変換し、条件付き正規分布を用いて最適に再定式化する一般化手法を提供することであり、再トレーニングを伴わず、コスト感受性回帰タスクで最先端の性能を達成する。

ABSTRACT

Regression, unlike classification, has lacked a comprehensive and effective approach to deal with cost-sensitive problems by the reuse (and not a re-training) of general regression models. In this paper, a wide variety of cost-sensitive problems in regression (such as bids, asymmetric losses and rejection rules) can be solved effectively by a lightweight but powerful approach, consisting of: (1) the conversion of any traditional one-parameter crisp regression model into a two-parameter soft regression model, seen as a normal conditional density estimator, by the use of newly-introduced enrichment methods; and (2) the reframing of an enriched soft regression model to new contexts by an instance-dependent optimisation of the expected loss derived from the conditional normal distribution.

研究の動機と目的

• 再トレーニングを伴わず、非対称損失、拒否ルール、入札ベースの応用を含むコスト感受性回帰問題を扱う。
• 確率的分類器に類似した、完全な条件付き密度を出力するソフト回帰モデルを導入することで、分類と回帰のギャップを埋める。
• 条件付き密度推定を用いて、クリップス回帰モデルを一般化・再利用可能な方法でソフトでコスト感受性なモデルに変換する一般手法を提供する。
• 正規条件付き分布から導出される期待損失を活用し、任意の損失関数に対してインスタンス固有の最適予測を実現する。
• 本手法が、多様なコスト感受性シナリオにおいて期待損失と頑健性の観点で、既存手法を上回ることを示す。

提案手法

• 任意の1パラメータのクリップス回帰モデルを、条件付き分散の推定を通じて2パラメータのソフト回帰モデルに変換し、これを正規条件付き密度推定器（NCDE）として扱う。
• 豊か化手法を用いて、既存の回帰手法から分散を導出する。具体的には、直接分散推定、信頼性または信頼性推定器、およびコピュラ予測を含む。
• 推定された条件付き正規分布から導出される期待損失のインスタンス依存最適化を用いて、予測を再定式化する。
• 非対称損失関数の場合、推定された正規分布の累積分布関数（CDF）および確率密度関数（PDF）を含む最小化問題の解として最適予測を導出する。
• 絶対損失および二乗損失関数の場合、期待損失関数の一次条件を解くことで、閉形式の解を得る。
• 推定された平均および分散を用いて、各インスタンスに対して再定式化関数を適用し、新たな運用状況下での期待損失を最小化する予測を生成する。

実験結果

リサーチクエスチョン

• RQ1 ソフト回帰モデルを用いて、再トレーニングを伴わずコスト感受性回帰問題を扱う一般化されたアプローチを開発できるか？
• RQ2 標準回帰モデルを、平均と分散の両方を推定する2パラメータのソフトモデルに変換する方法は何か？
• RQ3 条件付き分布が正規分布として推定される場合、非対称損失関数における最適予測は何か？
• RQ4 提案手法が、多様なコスト感受性回帰タスクにおいて期待損失の観点で既存手法を上回るか？
• RQ5 異なる分散推定手法およびデータセットにおいて、本手法の性能はどのように変化するか？

主な発見

• 提案されたソフト回帰フレームワークは、非対称損失関数および入札ベース損失関数の下で、期待損失を最小化する点でベースライン手法を顕著に上回る。
• 推定された条件付き正規分布を用いて期待損失を最小化する予測を求める手法により、絶対損失および二乗損失関数に対して閉形式の解が得られる。
• 非対称損失関数 ℓAα に対しては、最適予測が t′Φ(t′) + φ(t′) − αt′ = 0 として導出され、ここで t′ は標準化された予測であり、解は標準正規分布のCDFおよびPDFを用いて得られる。
• 二乗損失関数 ℓSα に対しては、切断正規分布の累積分布関数、確率密度関数、およびモーメントを含むより複雑な方程式を解くことで最適予測が得られ、正の2階微分が最小値を確認する。
• 実験的評価では、NCDE手法間で性能に統計的に有意な差がない（Friedman検定 p > 0.05）ことが示され、分散推定手法の選択に対して頑健であることが確認された。
• 本フレームワークにより、再トレーニングを伴わず新しい運用状況下での予測再定式化が可能となり、動的または繰り返し適用が必要なコスト感受性応用に適している。