[論文レビュー] When AUC meets DRO: Optimizing Partial AUC for Deep Learning with Non-Convex Convergence Guarantee

Dixian Zhu, Gang Li+3 more|arXiv (Cornell University)|Mar 1, 2022

Blind Source Separation Techniques被引用数 7

ひとこと要約

本稿は、分布的に頑健な最適化（DRO）を用いて、深層学習における部分AUC（pAUC）を最大化するための新しい勾配ベースの最適化手法を提案し、収束保証を備えている。2つのDRO定式化——正確な推定のための条件付きリスク価値（CVaR）と滑らかさを確保するためのKL発散正則化DRO——を導入し、片方向および両方向pAUC最大化の両方に対して、効率的かつ収束性を保証する確率的アルゴリズムを可能にしている。

ABSTRACT

In this paper, we propose systematic and efficient gradient-based methods for both one-way and two-way partial AUC (pAUC) maximization that are applicable to deep learning. We propose new formulations of pAUC surrogate objectives by using the distributionally robust optimization (DRO) to define the loss for each individual positive data. We consider two formulations of DRO, one of which is based on conditional-value-at-risk (CVaR) that yields a non-smooth but exact estimator for pAUC, and another one is based on a KL divergence regularized DRO that yields an inexact but smooth (soft) estimator for pAUC. For both one-way and two-way pAUC maximization, we propose two algorithms and prove their convergence for optimizing their two formulations, respectively. Experiments demonstrate the effectiveness of the proposed algorithms for pAUC maximization for deep learning on various datasets.

研究の動機と目的

• 深層学習における部分AUC（pAUC）最大化のための厳密で効率的な最適化アルゴリズムの不足に対処すること。
• 順序依存推定子によるpAUCの不偏な確率的勾配を計算する困難さを克服すること。
• 片方向（OPAUC）および両方向（TPAUC）pAUC最大化の両方に対して、収束性が保証された確率的アルゴリズムを開発すること。
• 医療診断や分子性質予測などの現実世界の深層学習タスクにおけるクラス不均衡問題へのpAUC最適化の実用的応用を可能にすること。
• AUC最大化と分布的に頑健な最適化（DRO）を統合する包括的フレームワークを提供し、一般化性能と頑健性を向上させること。

提案手法

• DROを用いてpAUC最大化を定式化し、各正例に対して負例全体を対象にした損失関数をDROによって定義する。
• 2つのDROに基づく代替目的関数を導入：1つは正確なpAUC推定のための条件付きリスク価値（CVaR）に基づくもの、もう1つは滑らかさを確保するためのKL発散正則化を用いたもの。
• OPAUCのための2つの確率的アルゴリズムを開発：1つは正確なCVaRに基づく推定子用、もう1つは滑らかなKLに基づく推定子用で、両者とも収束保証を有する。
• 正例の上位レベルのDROを適用することでTPAUCに拡張し、三段階のコンpositional確率的最適化問題を導出する。
• 弱凸性および滑らかさの仮定の下で、OPAUCおよびTPAUCの両定式化に対して、（ほぼ）停留点への収束を証明する。
• KLに基づく推定子の滑らかさを活用し、最適化における並列化による高速化を実現し、学習効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 弱凸性と滑らかさの仮定の下で、pAUC最大化のための効率的で勾配ベースの最適化アルゴリズムを設計できるか？
• RQ2 分布的に頑健な最適化（DRO）をどのように用いることで、pAUCの不偏かつ安定した確率的勾配を可能にする代替目的関数を構築できるか？
• RQ3 正確（CVaR）および滑らか（KL正則化）なDRO推定子を用いた場合、OPAUCおよびTPAUCの確率的アルゴリズムの収束特性はどのようになるか？
• RQ4 提案手法は、クラス不均衡なデータを扱う大規模な深層学習モデルに対しても、計算効率を維持できるか？
• RQ5 実際の応用において、提案手法のDROベースの定式化は、ヒューリスティックまたは特化した手法と比較して、pAUC性能および学習安定性の点で優れているか？

主な発見

• 弱凸性および滑らかさの仮定の下で、OPAUCおよびTPAUCの両最大化に対して、（ほぼ）停留点への収束が保証されている。
• KL発散正則化DRO推定子に基づくアルゴリズムは、その滑らかさのおかげで並列化による高速化が可能であり、学習効率が向上する。
• 目的関数のモラウエンVELOープの収束複雑度は、適切なステップサイズおよび反復スケジューリングのもとで $ O(n_{+}/\tilde{\epsilon}^6) $ であり、合計ステージ数 $ K = O(1/\tilde{\epsilon}^2) $ である。
• 不均衡なデータを用いた画像分類およびグラフ分類の実験では、ヒューリスティック手法やベースライン手法と比較して優れたpAUC性能を示した。
• 本稿のフレームワークは、深層学習におけるpAUC最大化のための、収束保証を伴う厳密な確率的最適化アルゴリズムを提供する最初のものである。
• オープンソースのライブラリLibAUC（www.libauc.org）には実装とチュートリアルが含まれており、再現性と採用を促進している。