[論文レビュー] Stochastic Optimization of Area Under Precision-Recall Curve for Deep Learning with Provable Convergence.

Qi Qi, Youzhi Luo+3 more|arXiv (Cornell University)|Apr 18, 2021

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 7

ひとこと要約

本稿では、平均精度（AP）に基づく代替損失を用いて、深層学習における適合率-再現率曲線下積分（AUPRC）を最大化するための、初めての理論的収束保証付きの確率的最適化手法を提案する。この手法は、従属する内部関数を有する確率的合成最適化問題としてAUPRC最適化を定式化し、不均衡な画像およびグラフデータセットで最先端の性能を達成する。

ABSTRACT

Areas under ROC (AUROC) and precision-recall curves (AUPRC) are common metrics for evaluating classification performance for imbalanced problems. Compared with AUROC, AUPRC is a more appropriate metric for highly imbalanced datasets. While direct optimization of AUROC has been studied extensively, optimization of AUPRC has been rarely explored. In this work, we propose a principled technical method to optimize AUPRC for deep learning. Our approach is based on maximizing the averaged precision (AP), which is an unbiased point estimator of AUPRC. We show that the surrogate loss function for AP is highly non-convex and more complicated than that of AUROC. We cast the objective into a sum of dependent compositional functions with inner functions dependent on random variables of the outer level. We propose efficient adaptive and non-adaptive stochastic algorithms with provable convergence guarantee under mild conditions by using recent advances in stochastic compositional optimization. Extensive experimental results on graphs and image datasets demonstrate that our proposed method outperforms prior methods on imbalanced problems. To the best of our knowledge, our work represents the first attempt to optimize AUPRC with provable convergence.

研究の動機と目的

• 深層学習におけるAUPRCの直接最適化手法の不足、特に極めて不均衡なデータセットに対しての課題を解決すること。
• 既存の間接的またはヒューリスティックな手法よりも優れる、原理的かつ理論的収束保証付きのAUPRC最適化フレームワークを開発すること。
• 不均衡分類の評価指標として好まれるAUPRCと、深層ニューラルネットワークにおけるその実用的最適化の間のギャップを埋めること。

提案手法

• AUPRC最大化の代替目的関数として、AUPRCの不偏推定量である平均精度（AP）を最適化する。
• 内部関数が外側のレベルからの確率的変数に依存する、従属する合成関数の和としてAUPRC最適化問題を定式化する。
• 最近の確率的合成最適化の進展に基づいて導出された、適応的および非適応的な確率的アルゴリズムを採用する。
• 代替損失関数は微分可能であり、深層学習モデルにおけるエンドツーエンド学習に適している。
• 勾配の有界性および関数のリプシッツ連続性といった弱い条件下でも収束が保証される。
• 慎重な確率的近似および分散低減技術を用いることで、AUPRC目的関数の高い非凸性と複雑さに対処する。

実験結果

リサーチクエスチョン

• RQ1 AUPRCは、理論的収束保証付きで、深層学習において直接最適化可能か？
• RQ2 非凸的かつ複雑な構造を持つAUPRC最適化を、確率的合成最適化を用いて効果的にモデル化・解釈できるか？
• RQ3 APを代替損失として最適化することで、不均衡データセットにおいて、間接的またはヒューリスティックな手法よりも優れたAUPRC性能が得られるか？
• RQ4 現実的な深層学習設定下で、AUPRC最適化に確率的アルゴリズムを適用した際の収束特性は何か？
• RQ5 提案手法は、画像やグラフといった多様なデータタイプにおいて、不均衡学習のシナリオに一般化可能か？

主な発見

• 提案手法は、長尾クラス分布を示す複数の画像およびグラフベンチマークデータセットで、最先端のAUPRC性能を達成した。
• 実験結果から、AUROCを最適化するベースライン手法や間接的損失代理を用いる手法よりも、AUPRCで一貫した向上が確認された。
• 弱い仮定のもとで理論的収束が保証されており、実用的導入において理論的に信頼性がある。
• 平均精度（AP）を代替損失として用いることで、深層ニューラルネットワークにおけるAUPRCの効果的かつ安定した最適化が可能になった。
• 適応的および非適応的バージョンの両方のアルゴリズムが、停留点に収束し、実用的には適応的バージョンがより速い収束を示した。
• 本手法は、深層学習におけるAUPRC最適化のための、理論的収束保証付きのフレームワークを初めて提供し、文献における重要な空白を埋めた。