[論文レビュー] Class-Weighted Classification: Trade-offs and Robust Approaches

Ziyu Xu, Dan Chen+2 more|arXiv (Cornell University)|May 26, 2020

Imbalanced Data Classification Techniques参考文献 45被引用数 13

ひとこと要約

本稿では、不確実な重み付けの下でのリスク最小化により、不均衡学習に対処するためのロバストなクラス重み付き分類手法を提案する。Label Conditional Value at Risk (LCVaR) と Label Heterogeneous Conditional Value at Risk (LHCVaR) を導入する。一般化バウンドを確立し、実データおよび合成データにおいて LCVaR と LHCVaR がクラス条件付きリスクを改善することを実証的に示す。

ABSTRACT

We address imbalanced classification, the problem in which a label may have low marginal probability relative to other labels, by weighting losses according to the correct class. First, we examine the convergence rates of the expected excess weighted risk of plug-in classifiers where the weighting for the plug-in classifier and the risk may be different. This leads to irreducible errors that do not converge to the weighted Bayes risk, which motivates our consideration of robust risks. We define a robust risk that minimizes risk over a set of weightings and show excess risk bounds for this problem. Finally, we show that particular choices of the weighting set leads to a special instance of conditional value at risk (CVaR) from stochastic programming, which we call label conditional value at risk (LCVaR). Additionally, we generalize this weighting to derive a new robust risk problem that we call label heterogeneous conditional value at risk (LHCVaR). Finally, we empirically demonstrate the efficacy of LCVaR and LHCVaR on improving class conditional risks.

研究の動機と目的

• 少数クラスの周辺確率が低く、しばしば誤分類される不均衡分類の課題に対処すること。
• クラス条件付きリスクに単一の固定重みを用いる際の根本的トレードオフを特定すること。最適コストはしばしば未知である。
• 可能なクラス重みの不確実性集合上での最悪ケース重み付きリスクを最小化するロバストなリスク定式化を開発すること。
• 提案されたロバストリスク最小化フレームワークの一般化誤差バウンドを確立すること。
• 条件付き値のリスク（CVaR）をクラス固有のリスク最小化に一般化する、新たなロバストリスク測度である LCVaR と LHCVaR を提案すること。

提案手法

• 各クラスに異なる重みを割り当てることで、クラス条件付きリスクを組み合わせた重み付きリスクを定義し、少数クラスの優先を可能にする。
• 不確実性集合 Q における可能な重み付けの上での重み付きリスクの上界としてロバストリスクを定義し、クラス周辺分布の分布的ロバストネスをモデル化する。
• 特定の不確実性集合に対して、ロバストリスクがクラス別リスクへの CVaR の一般化である Label Conditional Value at Risk (LCVaR) に簡略化されることを示す。
• 異なるクラスごとに異なる α パrameter を許容する Label Heterogeneous Conditional Value at Risk (LHCVaR) を提案し、より柔軟なリスク感受性を実現する。
• LHCVaR の双対表現を導出し、特に次元が有限の非均質性を持つ場合に制約なし最適化を可能にする。
• 勾配降下法による最適化を実装し、LHCVaR 定式化における λ に対して解析的解を用いることで、λ の勾配計算を回避し、収束を高速化する。

実験結果

リサーチクエスチョン

• RQ1 不均衡分類において、クラス条件付きリスクに単一の固定重みを用いる際の根本的トレードオフは何か？
• RQ2 クラス重み選択の不確実性を考慮するロバストリスク最小化フレームワークをどのように設計できるか？
• RQ3 ロバストリスク定式化は、条件付き値のリスク（CVaR）などの確率的プログラミングの既知の概念とどのように関連するか？
• RQ4 提案されたロバストリスク最小化手法の一般化性能は何か？
• RQ5 クラス固有の α パrameter を許容する提案された LHCVaR フレームワークは、標準の LCVaR やベースライン手法に比べてどのように向上するか？

主な発見

• 本稿では、ロバストリスク最小化フレームワークの超過リスクバウンドを確立し、一般化性能に関する理論的保証を提供する。
• 適切に定義された不確実性集合に対して、LCVaR がロバストリスク定式化の特殊ケースであることが示され、確率的プログラミング分野で知られた概念と結びつく。
• LHCVaR は、異なるクラスごとに異なる α パrameter を許容することで、LCVaR を一般化し、非均質なクラス分布におけるより洗練されたリスク処理を可能にする。
• LHCVaR の双対表現により、制約なし最適化が可能となり、定式化における λ に対する解析的解が、λ とモデルパラメータの共同勾配降下法よりも収束を高速化する。
• 実データおよび合成データにおける実証的結果から、LCVaR と LHCVaR が少数クラスのクラス条件付きリスクを顕著に改善することが示された。
• 提案手法は、標準的なクラス重み付け法やベースライン手法に比べ、不均衡データセットにおけるロバストネスと性能の両面で優れている。