[論文レビュー] Double Ramp Loss Based Reject Option Classifier

Naresh Manwani, Kalpit Desai+2 more|arXiv (Cornell University)|Nov 26, 2013

Machine Learning and Algorithms参考文献 12被引用数 5

ひとこと要約

本稿では、拒否オプション分類における0-d-1損失のよりタイトな連続的上界として、二重ラムプ損失関数を提案する。この損失関数により、差分凸（DC）プログラミングを用いたロバストなリスク最小化が可能になる。実験の結果、最先端手法に比べ優れた性能を示し、特に外れ値やラベルノイズの処理において優れている。

ABSTRACT

We consider the problem of learning reject option classifiers. The goodness of a reject option classifier is quantified using $0-d-1$ loss function wherein a loss $d \in (0,.5)$ is assigned for rejection. In this paper, we propose {\em double ramp loss} function which gives a continuous upper bound for $(0-d-1)$ loss. Our approach is based on minimizing regularized risk under the double ramp loss using {\em difference of convex (DC) programming}. We show the effectiveness of our approach through experiments on synthetic and benchmark datasets. Our approach performs better than the state of the art reject option classification approaches.

研究の動機と目的

• 一般化されたヘッジ損失や二重ヘッジ損失などの凸代替損失が、緩い上界を提供し外れ値に対してロバストでないという、拒否オプション分類における限界を解消する。
• 非凸損失関数を設計し、0-d-1損失をタイトに上界付けることで、ノイズの多いデータ下でも一般化性能とロバスト性を向上させる。
• 二重ラムプ損失下での正則化リスク最小化として学習問題を定式化し、一般化ベイズ分類器の一貫性のある推定を可能にする。
• 合成データおよびベンチマークデータセット上で、提案手法の有効性を実証し、拒否率と分類精度のトレードオフを改善することを示す。

提案手法

• 拒否オプション分類で用いられる非凸な0-d-1損失関数に対して、連続的かつタイトな上界を提供する二重ラムプ損失関数 $ L_{\text{DR}} $ を提案する。
• 二重ラムプ損失下での正則化リスク最小化として学習問題を定式化し、差分凸（DC）最適化問題として定式化し、DCアルゴリズム（DCA）によって解けるようにする。
• RBFカーネルなどのカーネル法を用いて、非線形分類器への応用を可能とし、柔軟な意思決定境界および拒否境界を実現する。
• 分類器と拒否閾値 $ \rho $ を同時に最適化することで、二重ラムプ損失下での経験的リスクを最小化し、一般化ベイズ分類器と一貫性を保つ。
• 非凸性を扱うためにDCプログラミング技術を適用し、理論的保証付きで局所最適解への収束を可能にする。
• 拒否率と分類精度のバランスを取る構造的学習フレームワークに二重ラムプ損失を統合する。

実験結果

リサーチクエスチョン

• RQ1 一般化されたヘッジ損失や二重ヘッジ損失といった既存の凸代替損失よりも、非凸損失関数が0-d-1損失に対してタイトな上界を提供できるか？
• RQ2 二重ラムプ損失下での正則化リスク最小化は、凸損失に基づく手法に比べ、拒否オプション分類においてより優れた一般化性能とロバスト性をもたらすか？
• RQ3 ノイズが多い、または外れ値を含むデータセットにおいて、提案手法の拒否率と精度は最先端手法に比べてどのように評価されるか？
• RQ4 適切な条件下で、二重ラムプ損失に基づく分類器は一般化ベイズ分類器と一貫性を示すか？
• RQ5 カーネルに基づく定式化により、非線形意思決定境界および拒否境界を効果的に学習できるか？

主な発見

• 二重ラムプ損失は、一般化されたヘッジ損失や二重ヘッジ損失といった凸代替損失よりも、特に拒否領域において0-d-1損失のタイトな上界を提供する。
• 合成データセット1では、d=0.1の条件下でリスクが 0.018 ± 0.004、拒否されなかった例での正解率が 97.26 ± 3.8% を達成し、二重ヘッジ損失を上回った。
• 合成データセット2では、d=0.05の条件下でリスクが 0.025 ± 0.002、拒否されなかった例での正解率が 98.94 ± 0.31% を達成し、二重ヘッジ損失を顕著に上回った。
• Ionosphereデータセットでは、d=0.05の条件下でリスクが 0.031 ± 0.002、拒否されなかった例での正解率が 98.33 ± 0.49% を達成したが、二重ヘッジ損失はより高いリスクと低い正解率を示した。
• Parkinsons Diseaseデータセットでは、d=0.5の条件下でリスクが 0.133 ± 0.009、拒否されなかった例での正解率が 86.65 ± 0.94% を達成し、拒否率がゼロであった。二重ヘッジ損失に比べ、リスクと正解率の両面で優れた性能を示した。
• すべてのデータセットおよびdの値において、二重ラムプ損失に基づく分類器は、拒否されなかった例でのリスクが低く、正解率が高く、優れた経験的性能を示した。