[論文レビュー] Optimizing Non-decomposable Performance Measures: A Tale of Two Classes

Harikrishna Narasimhan, Purushottam Kar+1 more|arXiv (Cornell University)|May 26, 2015

Machine Learning and Algorithms参考文献 30被引用数 19

ひとこと要約

本稿では、F-measure や G-mean などの非分解型指標を効率的に最適化できる2つの新しい確率的最適化手法——F-measure などの凹型性能指標を対象とする SPAD と、擬線形指標を対象とする STAMP —— を提案する。適応的線形化スキームを導入することで、O(1/ε²) の確率的更新回数で収束を達成し、従来手法と比較してしばしば1桁以上高速化される。一方で、クラス不均衡データセットにおいてもテスト精度を維持または向上させる。

ABSTRACT

Modern classification problems frequently present mild to severe label imbalance as well as specific requirements on classification characteristics, and require optimizing performance measures that are non-decomposable over the dataset, such as F-measure. Such measures have spurred much interest and pose specific challenges to learning algorithms since their non-additive nature precludes a direct application of well-studied large scale optimization methods such as stochastic gradient descent. In this paper we reveal that for two large families of performance measures that can be expressed as functions of true positive/negative rates, it is indeed possible to implement point stochastic updates. The families we consider are concave and pseudo-linear functions of TPR, TNR which cover several popularly used performance measures such as F-measure, G-mean and H-mean. Our core contribution is an adaptive linearization scheme for these families, using which we develop optimization techniques that enable truly point-based stochastic updates. For concave performance measures we propose SPADE, a stochastic primal dual solver; for pseudo-linear measures we propose STAMP, a stochastic alternate maximization procedure. Both methods have crisp convergence guarantees, demonstrate significant speedups over existing methods - often by an order of magnitude or more, and give similar or more accurate predictions on test data.

研究の動機と目的

• F-measure や G-mean などの非分解型性能指標を、クラス不均衡分類問題において効率的に最適化する課題に対処すること。
• 大容量バッファや複数回のパスを必要としない、真にポイントワイズな確率的更新を可能にするスケーラブルな最適化手法を開発すること。
• 統一されたフレームワークのもとで、凹型および擬線形性能指標に対して収束保証を提供すること。
• 大規模データセットでスケーリングが悪く、二段階学習を要する既存のサーロウゲートベースおよびプラグイン手法の限界を克服すること。
• 確率的勾配スタイルの更新を用いて、分類器パラメータとしきい値を同時に最適化するエンドツーエンド学習を可能にすること。

提案手法

• TPR と TNR の関数として表現される凹型性能指標に対して、Fenchel双対性を用いて線形関数として表現する適応的線形化スキームを導入する。
• SPAD を提案する。これは、確率的ミラー降下を用いて双対変数と分類器重みを交互に更新する確率的プライマル・デュアル解法である。
• F-measure などの擬線形指標を対象として、結合重みとモデルパラメータを同時に最適化する STAMP を開発する。
• オンライン学習の保証と Hoeffding の不等式を用いて、確率的更新における勾配近似の推定誤差を制限する。
• 収束を保証するためのエポックベースの更新スケジュールを設計し、適応的ストリーム長を用いる。
• オンラインからバッチへの変換とレグレットバウンドを活用し、ε-精度を達成するためのサンプル複雑度を Õ(1/ε²) として導出する。

実験結果

リサーチクエスチョン

• RQ1 F-measure や G-mean などの非分解型性能指標を、大容量バッファや複数回のパスを必要とせずに、ポイントワイズな確率的更新によって効率的に最適化できるか？
• RQ2 TPR と TNR の関数として表現される凹型性能指標を、どのように適応的に線形化し、確率的最適化を可能にするか？
• RQ3 F-measure のような擬線形性能指標を対象とする確率的アルゴリズムに対して、どのような収束保証を確立できるか？
• RQ4 提案手法は、大規模なクラス不均衡データセットにおいて、既存のサーロウゲートベースおよびプラグイン手法よりも速度と精度の両面で優れているか？
• RQ5 確率的更新を用いてこれらの非分解型指標を ε-精度で最適化するために、どの程度のサンプル複雑度が必要か？

主な発見

• SPADE と STAMP は O(1/ε²) の確率的更新で収束し、ε-精度を達成するためのサンプル複雑度は Õ(1/ε² log⁴(1/ε)) で有界である。
• 大規模データセットにおいて、SVMPerf スタイルおよびプラグイン手法と比較して、最大で1桁以上高速化される。
• SPAD と STAMP は、極度なクラス不均衡下でもベースライン手法と同等またはそれ以上のテスト精度を維持または向上させる。
• 適応的線形化戦略により、トレーニング中の分類器性能の向上を効果的に活用でき、収束を加速する。
• 理論的解析により、log(1/ε) 回のバッチ更新または O(1/ε²) 回の確率的更新後に、ε-近似グローバル最適解に収束することが確認された。
• 実験的結果から、メモリに収まらないほど大きなデータセットに対しても効果的にスケーリングでき、ストリーミング学習のシナリオをサポートすることが示された。