[論文レビュー] Benchmarking Deep AUROC Optimization: Loss Functions and Algorithmic Choices

Dixian Zhu, Xiaodong Wu+1 more|arXiv (Cornell University)|Mar 27, 2022

Imbalanced Data Classification Techniques被引用数 5

ひとこと要約

本論文は、画像および分子グラフデータセットにおけるAUROC最適化のための10種類の深層学習損失関数（ペairワイズおよびコンポジット）をベンチマークし、サンプリングレート、正規化、最適化手法といったアルゴリズム的選択を評価している。コンポジット損失関数は、学習収束性と一般化性能においてペアワイズ損失関数を上回り、Adam最適化手法は高い学習性能を示すが、一般化性能に劣る。

ABSTRACT

The area under the ROC curve (AUROC) has been vigorously applied for imbalanced classification and moreover combined with deep learning techniques. However, there is no existing work that provides sound information for peers to choose appropriate deep AUROC maximization techniques. In this work, we fill this gap from three aspects. (i) We benchmark a variety of loss functions with different algorithmic choices for deep AUROC optimization problem. We study the loss functions in two categories: pairwise loss and composite loss, which includes a total of 10 loss functions. Interestingly, we find composite loss, as an innovative loss function class, shows more competitive performance than pairwise loss from both training convergence and testing generalization perspectives. Nevertheless, data with more corrupted labels favors a pairwise symmetric loss. (ii) Moreover, we benchmark and highlight the essential algorithmic choices such as positive sampling rate, regularization, normalization/activation, and optimizers. Key findings include: higher positive sampling rate is likely to be beneficial for deep AUROC maximization; different datasets favors different weights of regularizations; appropriate normalization techniques, such as sigmoid and $\ell_2$ score normalization, could improve model performance. (iii) For optimization aspect, we benchmark SGD-type, Momentum-type, and Adam-type optimizers for both pairwise and composite loss. Our findings show that although Adam-type method is more competitive from training perspective, but it does not outperform others from testing perspective.

研究の動機と目的

• 不均衡学習における深層AUROC最適化のための体系的ベンチマークの不足に応える。
• さまざまなアルゴリズム的設定下で、10種類の主流の損失関数（ペアワイズおよびコンポジット）の性能を評価する。
• 正例サンプリングレート、正則化、正規化、最適化手法といった重要なアルゴリズム的選択がAUROC性能に与える影響を調査する。
• 深層AUROC最大化のための最適な損失関数およびハイパーパrameterの選定に関する実践的知見を研究者および実務家に提供する。
• CIFAR-10、CIFAR-100などの6つの画像データセットおよびHIV、MUV、Tox21、ToxCastなどの6つの分子グラフデータセット（191,027サンプルを含む大規模なCheXpertデータセットを含む）を対象とした大規模な実験的調査を実施する。

提案手法

• 10種類の損失関数をベンチマーク：5種類のペアワイズ損失（PSQ, PSH, PH, PL, PSM, PBH）と5種類のコンポジット損失（CSQ, CSH, CH, CL）、それぞれが異なるサロゲート損失部品を有する。
• すべての損失関数を一貫したハイパーパramータチューニングで評価できる統合された学習フレームワークを実装する。
• アルゴリズム的選択を体系的に変化させる：正例サンプリングレート（0.1から0.5の範囲）、L2正則化、重み減衰、正規化手法（シグモイド、ℓ₂スコア正規化）。
• 3種類の最適化手法タイプ（SGD型、モーメンタム型、Adam型）を比較し、学習率を{1e-1, 1e-2, 1e-3, 1e-4, 1e-5}の範囲でチューニングする。
• 6つの画像データセット（例：CIFAR-10, CIFAR-100）および6つの分子グラフデータセット（例：HIV, MUV, Tox21, ToxCast）を対象とし、191,027サンプルを有する大規模なCheXpertデータセットも含む。
• 14,400回の独立した実験走行におけるAUROCスコアと標準偏差を報告することで、統計的妥当性を確保する。

実験結果

リサーチクエスチョン

• RQ1 深層AUROC最適化において、コンポジット損失関数とペアワイズ損失関数は、学習収束性とテスト一般化性能の観点でどのように比較されるか？
• RQ2 正例サンプリングレートはAUROC性能にどのような影響を及ぼすか？また、データセットによってその影響は変化するか？
• RQ3 シグモイドやℓ₂正規化などの正規化および活性化手法は、深層モデルにおけるAUROC性能をどのように向上させるか？
• RQ4 SGD、モーメンタム、Adamといった異なる最適化手法は、学習およびテストにおけるAUROCにどのように影響を及ぼすか？特に一般化性能の観点から。
• RQ5 ラベルの汚染が、他の損失タイプと比較して対称的ペアワイズ損失（例：PSM）の好ましさに影響を及えるか？

主な発見

• コンポジット損失関数は、学習収束性とテスト一般化性能の両面で、常にペアワイズ損失関数を上回り、画像データセットでは平均AUROCが0.824、分子データセットでは0.818を達成した。
• ラベルが汚染されたデータセットでは、対称的ペアワイズ損失（例：PSM）が非対称バージョンよりも優れた性能を示した。
• 正例サンプリングレートの上昇（最大0.5まで）は、特に長尾型および不均衡な設定においてAUROC性能を向上させた。
• シグモイドおよびℓ₂スコア正規化はモデル性能を顕著に向上させた。特に分子データセットではℓ₂正規化が顕著な向上をもたらした。
• Adam型最適化手法は、高速な学習収束性と高い学習AUROCを達成したが、テストデータでは性能を発揮しなかった。これは、一般化性能の欠如を示しており、先行研究と整合的である。
• コンポジット損失関数はペアワイズ損失関数よりも収束が早く、1イテレーションあたりの処理時間も短く、大規模学習においてより効率的である。