[論文レビュー] On the Consistency of Ordinal Regression Methods

Fabián Pedregosa, Francis Bach+1 more|arXiv (Cornell University)|Aug 11, 2014

Face and Expression Recognition参考文献 32被引用数 32

ひとこと要約

本稿は順序回帰手法におけるフィッシャー整合性の包括的な理論的分析を提供し、サポートベクターオーダルリグレッションや最小絶対偏差を含む既存のアプローチを統一・拡張する一般化すべてのしきい値（GAT）のサーロージ損失を導入する。主な貢献は、凸関数のゼロにおける導関数に基づく整合性の特徴付けであり、実験的検証によりGATは9つのデータセットのうち7つで最小二乗法を上回ることを示している。

ABSTRACT

Many of the ordinal regression models that have been proposed in the literature can be seen as methods that minimize a convex surrogate of the zero-one, absolute, or squared loss functions. A key property that allows to study the statistical implications of such approximations is that of Fisher consistency. Fisher consistency is a desirable property for surrogate loss functions and implies that in the population setting, i.e., if the probability distribution that generates the data were available, then optimization of the surrogate would yield the best possible model. In this paper we will characterize the Fisher consistency of a rich family of surrogate loss functions used in the context of ordinal regression, including support vector ordinal regression, ORBoosting and least absolute deviation. We will see that, for a family of surrogate loss functions that subsumes support vector ordinal regression and ORBoosting, consistency can be fully characterized by the derivative of a real-valued function at zero, as happens for convex margin-based surrogates in binary classification. We also derive excess risk bounds for a surrogate of the absolute error that generalize existing risk bounds for binary classification. Finally, our analysis suggests a novel surrogate of the squared error loss. We compare this novel surrogate with competing approaches on 9 different datasets. Our method shows to be highly competitive in practice, outperforming the least squares loss on 7 out of 9 datasets.

研究の動機と目的

• 順序回帰手法におけるフィッシャー整合性を分析する統一的理論枠組みを確立すること。
• 0-1損失、絶対誤差、二乗誤差損失のための主要なサーロージ損失関数の整合性を特徴付けすること。
• 既存の二値分類における結果を一般化し、サーロージ損失の超過リスクバウンドを導出すること。
• 二乗誤差損失に対して整合的でかつ実験的に競争力のある、新規のサーロージ損失「一般化すべてのしきい値（GAT）」を提案すること。
• 順序回帰における標準的な整合性仮定の限界を調査し、構造的制約下での制限付き整合性（F整合性）の概念を導入すること。

提案手法

• しきい値ベースの意思決定関数と凸サーロージ損失を用いて、順序回帰を統一的枠組みで形式化する。
• 凸実数値関数を用いて定義される、一般化すべてのしきい値（GAT）サーロージを導入し、統一的サーロージの族を構築する。
• GATのフィッシャー整合性を、関連する凸関数のゼロにおける導関数を用いて特徴付け、二値分類の結果を拡張する。
• 分解可能性の性質を適用し、バートレットら（2003）の二値分類における古典的結果を一般化する超過リスクバウンドを導出する。
• i.i.d.仮定を満たさない構造的意思決定関数を扱うために、F整合性（パrametric整合性）を導入する。
• 20-fold交差検証を用いて、GATサーロージを最小二乗法と比較し、9つのデータセットで実験的評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 順序回帰で用いられるどのサーロージ損失関数がフィッシャー整合的であり、その整合性はどのように特徴付けられるか？
• RQ2 サポートベクターオーダルリグレッションやORBoostingのような既存手法を一般化する統一的サーロージ族を構築できるか？
• RQ3 順序回帰のサーロージ損失の超過リスクバウンドは、二値分類の結果とどのように比較できるか？
• RQ4 一般化すべてのしきい値（GAT）サーロージは、標準的な最小二乗損失よりも優れた実験的性能を示すか？
• RQ5 構造的制約下で、しきい値ベースの意思決定関数に対して制限付き整合性（F整合性）を確立できるか？

主な発見

• AT、IT、CL、LADを含む広範な順序回帰サーロージのフィッシャー整合性は、凸関数のゼロにおける導関数を用いて完全に特徴付けられる。
• 一般化すべてのしきい値（GAT）サーロージは、二乗誤差損失に対して整合的であり、既存手法を統一する新規のサーロージとして導入される。
• GATサーロージの超過リスクバウンドは、バートレットら（2003）の古典的結果を二値分類から順序分類へ一般化する。
• 実験的評価により、GATサーロージは9つのデータセットのうち7つで交差検証誤差の面で最小二乗法を上回ることが示された。
• ウィルコクソン符号順位検定により、9つのデータセットのうち3つで性能差に統計的有意性（p < 0.01）が確認された。
• 構造的制約下で2つのサーロージに対してF整合性が確立されたことから、順序回帰におけるより実用的な整合性枠組みの構築が示唆された。