[論文レビュー] Stochastic AUC Maximization with Deep Neural Networks

Mingrui Liu, Zhuoning Yuan+2 more|arXiv (Cornell University)|Apr 30, 2020

Machine Learning and Algorithms参考文献 45被引用数 15

ひとこと要約

本稿では、サーヴィレージ損失を用いて非凸凸最小最大化最適化として問題を定式化することにより、深層ニューラルネットワーク向けの新しい確率的AUC最大化フレームワークを提案する。PL条​​件を活用し、収束が速く実用的なステップサイズを持つ適応的確率的アルゴリズムを導入し、不均衡データにおいて優れた性能を示す。

ABSTRACT

Stochastic AUC maximization has garnered an increasing interest due to better fit to imbalanced data classification. However, existing works are limited to stochastic AUC maximization with a linear predictive model, which restricts its predictive power when dealing with extremely complex data. In this paper, we consider stochastic AUC maximization problem with a deep neural network as the predictive model. Building on the saddle point reformulation of a surrogated loss of AUC, the problem can be cast into a {\it non-convex concave} min-max problem. The main contribution made in this paper is to make stochastic AUC maximization more practical for deep neural networks and big data with theoretical insights as well. In particular, we propose to explore Polyak-\L{}ojasiewicz (PL) condition that has been proved and observed in deep learning, which enables us to develop new stochastic algorithms with even faster convergence rate and more practical step size scheme. An AdaGrad-style algorithm is also analyzed under the PL condition with adaptive convergence rate. Our experimental results demonstrate the effectiveness of the proposed algorithms.

研究の動機と目的

• 複雑なデータに対して表現力に欠ける線形モデルに依存する従来の確率的AUC最大化手法の限界を解決する。
• 高度に複雑で不均衡なデータセットにおける予測性能を向上させるために、AUC最大化を深層ニューラルネットワークに拡張する。
• PL条​​件の下で理論的収束保証を持つ、深層AUC最大化のための実用的な確率的最適化アルゴリズムを開発する。
• 深層学習で観察されるPL条​​件の活用により、収束を高速化し、ステップサイズ選択をより頑健にする。

提案手法

• サーヴィレージ損失を用いてAUC最大化問題を非凸凸最小最大化最適化フレームワークに再定式化する。
• PL条​​件を活用し、深層学習設定における確率的アルゴリズムの収束速度を向上させる。
• AdaGradに基づく適応的ステップサイズを持つ確率的アルゴリズムを設計し、PL条​​件を活用して収束特性を改善する。
• 理論的収束を維持しながら、大規模データおよび深層アーキテクチャにスケーラブルな最適化スキームを提案する。
• 制限の厳しい仮定を避け、動的学習率適応を可能にするなど、アルゴリズムの実用性を確保する。

実験結果

リサーチクエスチョン

• RQ1 理論的収束を保ちながら、確率的AUC最大化を深層ニューラルネットワークに効果的に拡張できるか？
• RQ2 Polyak–Łojasiewicz (PL) 条件は、深層モデルにおける確率的AUC最適化でどのようにして収束を高速化するか？
• RQ3 深層AUC最大化における収束性と頑健性を向上させるために、どのような適応的ステップサイズ戦略を開発できるか？
• RQ4 提案手法のアルゴリズムは、AUC性能および学習効率の面で、既存手法とどのように比較されるか？

主な発見

• 提案アルゴリズムは、深層ニューラルネットワークで実証的に観察されるPL条​​件を活用することで、より速い収束レートを達成する。
• AdaGradスタイルの適応的ステップサイズを持つアルゴリズムが開発され、PL条​​件の下で理論的に正当化され、実用性が向上する。
• 線形モデルに基づくAUC最大化手法と比較して、不均衡データセットにおいて優れた性能を示す。
• 理論的分析により、PL条​​件の下での収束が確認され、アルゴリズムの頑健性とスケーラビリティの基盤が確立される。