[論文レビュー] On The Direct Maximization of Quadratic Weighted Kappa

David K. Vaughn, Derek H. Justice|arXiv (Cornell University)|Sep 23, 2015

Imbalanced Data Classification Techniques参考文献 1被引用数 6

ひとこと要約

本稿では、2次加重カッパの数学的に同等の単純化された定式化を提案し、直接的な解析的最適化を可能にする。メトリクスを再定式化することで、反復的手法を用いずに直接最適化可能であることを示し、MSEおよび相関ととの関係を明らかにするとともに、順序回帰タスクにおけるモデル学習のための取り扱いやすい枠組みを提供する。

ABSTRACT

In recent years, quadratic weighted kappa has been growing in popularity in the machine learning community as an evaluation metric in domains where the target labels to be predicted are drawn from integer ratings, usually obtained from human experts. For example, it was the metric of choice in several recent, high profile machine learning contests hosted on Kaggle : https://www.kaggle.com/c/asap-aes , https://www.kaggle.com/c/asap-sas , https://www.kaggle.com/c/diabetic-retinopathy-detection . Yet, little is understood about the nature of this metric, its underlying mathematical properties, where it fits among other common evaluation metrics such as mean squared error (MSE) and correlation, or if it can be optimized analytically, and if so, how. Much of this is due to the cumbersome way that this metric is commonly defined. In this paper we first derive an equivalent but much simpler, and more useful, definition for quadratic weighted kappa, and then employ this alternate form to address the above issues.

研究の動機と目的

• 機械学習における2次加重カッパの数学的性質に関する理解の不足を解消すること。
• モデル最適化に利用可能な、より単純で解析的に取り扱いやすいメトリクスの形式を導出すること。
• 2次加重カッパを直接最大化できるか、その場合の方法を調査すること。
• 2次加重カッパとMSEや相関などの一般的な評価指標との数学的関係を明確にすること。

提案手法

• 複雑な標準定義を回避する、代数的に同等の単純化された2次加重カッパの定式化を導出すること。
• 期待度数と観測頻度の観点からメトリクスを再表現することで、解析的取り扱いを可能にする。
• 簡略化された形式を用いて、モデルパラメータに関するカッパスコアの勾配およびヘッセ行列を分析すること。
• 勾配上昇法やニュートン型の手法を用いて、スコアを直接的に最適化可能であることを示すこと。
• 新しい定式化と既存の指標（例：平均二乗誤差や相関）との関係を確立すること。

実験結果

リサーチクエスチョン

• RQ1 2次加重カッパを、より単純で解析的に有用な形に表現できるか？
• RQ2 モデル学習中に2次加重カッパを直接最大化することが可能か？
• RQ3 2次加重カッパは数学的にMSEおよび相関とどのように関係しているか？
• RQ4 微分可能な目的関数として扱った場合、カッパの最適化ダイナミクスはいかなるものか？

主な発見

• 代数的に同等であるが、解析にはるかに適した、2次加重カッパの新しい単純化された定式化が導出された。
• 再定式化されたメトリクスにより、直接的な解析的最適化が可能となり、モデル学習における勾配ベース最適化が可能になった。
• 2次加重カッパが平均二乗誤差および相関と密接に関連していることが示され、明確で解釈可能な相違点が明らかになった。
• 新しい定式化により、カッパ最適化が予測の正確性と評価レベルにおける分布の良さの両方を重視することが明らかになった。