[論文レビュー] Convex Calibration Dimension for Multiclass Loss Matrices

Harish G. Ramaswamy, Shivani Agarwal|arXiv (Cornell University)|Aug 12, 2014

Machine Learning and Algorithms参考文献 37被引用数 20

ひとこと要約

本稿では、任意の多クラス損失行列に対して、補間損失を正しくキャリブレーションするための最小予測空間サイズを測る指標として、凸キャリブレーション次元を導入する。キャリブレーションの必要十分条件を確立し、NDCG、MAP、PDなどのサブセットランク損失に関して、凸キャリブレーション次元がΩ(r²)であることを証明する。これは、一貫性のある学習にΩ(r²)個の実数値関数が必要であることを示し、r次元空間における効率的で凸かつキャリブレーションされた補間損失の非存在を解消する。

ABSTRACT

We study consistency properties of surrogate loss functions for general multiclass learning problems, defined by a general multiclass loss matrix. We extend the notion of classification calibration, which has been studied for binary and multiclass 0-1 classification problems (and for certain other specific learning problems), to the general multiclass setting, and derive necessary and sufficient conditions for a surrogate loss to be calibrated with respect to a loss matrix in this setting. We then introduce the notion of convex calibration dimension of a multiclass loss matrix, which measures the smallest `size' of a prediction space in which it is possible to design a convex surrogate that is calibrated with respect to the loss matrix. We derive both upper and lower bounds on this quantity, and use these results to analyze various loss matrices. In particular, we apply our framework to study various subset ranking losses, and use the convex calibration dimension as a tool to show both the existence and non-existence of various types of convex calibrated surrogates for these losses. Our results strengthen recent results of Duchi et al. (2010) and Calauzenes et al. (2012) on the non-existence of certain types of convex calibrated surrogates in subset ranking. We anticipate the convex calibration dimension may prove to be a useful tool in the study and design of surrogate losses for general multiclass learning problems.

研究の動機と目的

• 任意の損失行列によって定義される一般多クラス学習問題における補間損失の統計的一貫性を分析するための統一的枠組みを構築すること。
• 0-1損失を超えた一般多クラス設定における分類キャリブレーションの概念を拡張すること。
• 凸補間損失設計における損失行列の本質的難易度を測る指標として、凸キャリブレーション次元を定義し分析すること。
• MAP、PD、NDCG などのサブセットランク損失に対する凸キャリブレーションされた補間損失の存在に関する未解決問題を解消すること。
• サブセットランク問題における一貫性のある凸補間損失の非存在を、r次元空間においてΩ(r²)の凸キャリブレーション次元の下界を示すことによって、先行研究を強化すること。

提案手法

• 二値および多クラス0-1ケースを拡張し、多クラス損失行列に対する一般化されたキャリブレーションの概念を導入する。
• 与えられた損失行列に関して、補間損失がキャリブレーションされるための必要十分条件を導出する。
• 与えられた損失行列に対して、凸かつキャリブレーションされた補間損失を可能にする予測空間の最小次元として、凸キャリブレーション次元を定義する。
• 損失行列の代数的・幾何的性質を用いて、凸キャリブレーション次元の上界および下界を導出する。
• サブセットランク損失にこの枠組みを適用し、NDCG、MAP、PD についての凸キャリブレーション次元を計算または評価する。
• 部分微分と正の法集合などの凸解析の道具を用い、Crammer-Singer法のような特定の補間損失を分析する。

実験結果

リサーチクエスチョン

• RQ1 任意の多クラス損失行列に関して、補間損失がキャリブレーションされるための必要十分条件は何か？
• RQ2 与えられた損失行列に対して、凸かつキャリブレーションされた補間損失を構築できる予測空間の最小次元は何か？
• RQ3 MAP、PD、NDCG などのサブセットランク損失は、r次元の予測空間において凸キャリブレーションされた補間損失を有するか？
• RQ4 rドキュメントに対するNDCG、MAP、PD損失行列の凸キャリブレーション次元は何か？
• RQ5 凸キャリブレーション次元を用いて、特定の多クラス問題において低次元空間における一貫性のある凸補間損失の非存在を証明できるか？

主な発見

• rドキュメントに対するペアワイズ不一致（PD）損失行列の凸キャリブレーション次元は、Ω(r²)で下界が与えられ、一貫性のある学習にΩ(r²)個の実数値関数が必要であることを示唆する。
• 平均平均精度（MAP）損失行列の凸キャリブレーション次元もΩ(r²)で下界が与えられ、r次元空間では凸キャリブレーションされた補間損失が存在しないことを示している。
• 正規化順位付き累積利得（NDCG）損失行列の凸キャリブレーション次元もΩ(r²)で下界が与えられ、一貫性のある学習にはΩ(r²)個のスコア関数の学習が必要であることを示している。
• 同じクラス数であっても、損失行列の凸キャリブレーション次元は大きく異なる場合があり、1からクラス数に近い値まで変動しうる。
• Duchiら（2010年）およびCalauzènesら（2012年）の先行研究を確認・強化し、r次元空間におけるサブセットランクの凸キャリブレーションされた補間損失の非存在を裏付ける。
• Crammer-Singer補間損失に関して、臨界点における正の法集合が、どのクラスの確率も1/2を超えない確率分布の集合であることが示され、これがキャリブレーション行動を特徴づけている。