[論文レビュー] Large-scale Optimization of Partial AUC in a Range of False Positive Rates

Yao Yao, Qihang Lin+1 more|arXiv (Cornell University)|Mar 3, 2022

Machine Learning and Algorithms被引用数 5

ひとこと要約

本稿では、大規模な深層学習環境において、指定された偽陽性率の範囲における部分AUCを最大化するスケーラブルな確率的最適化手法を提案する。問題を非滑らかな凸関数の差（DC）プログラムとして定式化し、確率的ブロック座標降下法を用いたモラウエンVELOPE平滑化を活用することで、収束複雑度が$ ilde{O}(1/ heta^6)$に達し、線形モデルおよび深層ニューラルネットワークの理論的保証のもとで効率的な学習が可能になる。

ABSTRACT

The area under the ROC curve (AUC) is one of the most widely used performance measures for classification models in machine learning. However, it summarizes the true positive rates (TPRs) over all false positive rates (FPRs) in the ROC space, which may include the FPRs with no practical relevance in some applications. The partial AUC, as a generalization of the AUC, summarizes only the TPRs over a specific range of the FPRs and is thus a more suitable performance measure in many real-world situations. Although partial AUC optimization in a range of FPRs had been studied, existing algorithms are not scalable to big data and not applicable to deep learning. To address this challenge, we cast the problem into a non-smooth difference-of-convex (DC) program for any smooth predictive functions (e.g., deep neural networks), which allowed us to develop an efficient approximated gradient descent method based on the Moreau envelope smoothing technique, inspired by recent advances in non-smooth DC optimization. To increase the efficiency of large data processing, we used an efficient stochastic block coordinate update in our algorithm. Our proposed algorithm can also be used to minimize the sum of ranked range loss, which also lacks efficient solvers. We established a complexity of $ ilde O(1/ε^6)$ for finding a nearly $ε$-critical solution. Finally, we numerically demonstrated the effectiveness of our proposed algorithms for both partial AUC maximization and sum of ranked range loss minimization.

研究の動機と目的

• 大規模および深層学習環境における部分AUC最適化のためのスケーラブルで理論的根拠を持つアルゴリズムの不足に対処すること。
• 実用的なFPR制約がある応用において、全AUCよりも関連性の高いユーザー定義の偽陽性率範囲における部分AUCを最大化する手法を開発すること。
• 従来の線形モデルに限定されたり、全バッチ処理を必要としたりする手法の制限を克服し、非線形モデル、特に深層ニューラルネットワークの効率的学習を可能にすること。
• 部分AUC最大化に加え、標準の損失和とは異なるロバストな代替損失である順位範囲損失の和の最小化にも適用可能な統一的フレームワークを提供すること。
• 非滑らかで非凸なDCプログラミングの下で、$ heta$-臨界解を求めるための厳密な収束複雑度境界$ ilde{O}(1/ heta^6)$を確立すること。

提案手法

• 部分AUC最大化問題を、深層ニューラルネットワークなどの滑らかな予測関数に適用可能な非滑らかな凸関数の差（DC）プログラムとして再定式化する。
• DC定式化における非滑らか成分をモラウエンVELOPE近似により平滑化し、勾配ベース最適化に適した滑らかな問題に変換する。
• 近似勾配降下法を採用し、凸成分のプロキシマル部分問題を解くために確率的ブロック座標降下法（SBCD）を用いて勾配を推定する。
• 反復ごとに正例および負例のデータポイントをランダムにサンプリングすることで、1反復あたりの計算コストを低く抑え、大規模データへのスケーラビリティを確保する。
• 部分AUC最適化の特殊ケースとしての順位範囲損失の和（SoRR）最小化に本手法を拡張する。
• 非滑らかで非凸な設定下で、$ heta$-臨界解を求めるための収束複雑度$ ilde{O}(1/ heta^6)$を確立する。

実験結果

リサーチクエスチョン

• RQ1 既存のバッチ処理や線形モデルに限定された手法の制限を克服し、大規模データセットおよび深層ニューラルネットワークに効率的にスケーリング可能な部分AUC最適化が可能か？
• RQ2 標準のDCソルバが非滑らかさのため失敗する状況下で、部分AUC最大化のための非滑らかなDCプログラミングを効果的に解く方法は何か？
• RQ3 非滑らかで非凸な設定下で、部分AUC最適化のための確率的勾配ベース手法の理論的収束複雑度は何か？
• RQ4 提案フレームワークは、順位範囲損失の和のような他のロバスト損失関数へ一般化可能か？
• RQ5 モラウエンVELOPE平滑化と確率的ブロック座標降下法を組み合わせることで、大規模な部分AUC最適化に対して実用的かつ証明可能な収束性を持つアルゴリズムが得られるか？

主な発見

• 提案されたAGD-SBCDアルゴリズムは、$ heta$-臨界解を求める収束複雑度$ ilde{O}(1/ heta^6)$を達成し、非滑らかで非凸な最適化の最良-known境界と一致する。
• CheXpertデータセットでは、$ heta = 10^{10}/N_{+}N_{-}$の条件下でテスト部分AUCが0.8500 ± 0.0017を達成し、医療画像データにおける優れた性能を示した。
• 本手法は、CIFAR-10-LT や Tiny-ImageNet-200-LT といった長尾データセットにおいても、部分AUC最大化のための深層ニューラルネットワークの学習に成功し、スケーラビリティと有効性を示した。
• 数値結果から、GPU時間経過に伴い訓練損失および部分AUCの両面で安定した収束が確認され、$ heta$値の変更に伴う劣化が最小限に抑えられた。
• 特に全AUCが最も関連性のない性能指標となる設定において、スケーラビリティと理論的保証の面でベースライン手法を上回った。
• フレームワークは、順位範囲損失の和の最小化へ一般化可能であり、標準の損失和学習目的関数のロバストな代替手段を提供する。