[論文レビュー] Robust Deep AUC Maximization: A New Surrogate Loss and Empirical Studies on Medical Image Classification

Zhuoning Yuan, Yan Yan+2 more|arXiv (Cornell University)|Dec 6, 2020

Cutaneous Melanoma Detection and Management参考文献 26被引用数 11

ひとこと要約

本論文は、深層AUC最大化（DAM）のための新しいロバストなマージンベースの代替損失を提案し、従来のAUC二乗損失と比較して一般化性能と最適化安定性を向上させた。大規模な医療画像分類において最先端の性能を達成し、スタンフォード・チェクサペントコンペティションで1位を獲得し、Kaggle 2020メラノーマ分類コンペティションで上位1%を達成した。これは、DAMを実世界の医療画像処理タスクに初めて成功裏に適用した初の例である。

ABSTRACT

Deep AUC Maximization (DAM) is a paradigm for learning a deep neural network by maximizing the AUC score of the model on a dataset. Most previous works of AUC maximization focus on the perspective of optimization by designing efficient stochastic algorithms, and studies on generalization performance of DAM on difficult tasks are missing. In this work, we aim to make DAM more practical for interesting real-world applications (e.g., medical image classification). First, we propose a new margin-based surrogate loss function for the AUC score (named as the AUC margin loss). It is more robust than the commonly used AUC square loss, while enjoying the same advantage in terms of large-scale stochastic optimization. Second, we conduct empirical studies of our DAM method on difficult medical image classification tasks, namely classification of chest x-ray images for identifying many threatening diseases and classification of images of skin lesions for identifying melanoma. Our DAM method has achieved great success on these difficult tasks, i.e., the 1st place on Stanford CheXpert competition (by the paper submission date) and Top 1% rank (rank 33 out of 3314 teams) on Kaggle 2020 Melanoma classification competition. We also conduct extensive ablation studies to demonstrate the advantages of the new AUC margin loss over the AUC square loss on benchmark datasets. To the best of our knowledge, this is the first work that makes DAM succeed on large-scale medical image datasets.

研究の動機と目的

• 医療画像分類のような困難な実世界タスクにおける深層AUC最大化（DAM）の一般化に関する研究が不足しているという問題に取り組むこと。
• 最適化安定性と性能を向上させる、AUC最大化のためのよりロバストな代替損失関数を開発すること。
• 困難な医療画像データセットにおけるDAMの実証的検証を通し、従来手法よりも実用的で優れた性能を示すこと。

提案手法

• AUC最大化のための新しいマージンベースの代替損失関数、すなわちAUCマージン損失を提案し、AUC二乗損失と比較してより高いロバスト性を実現した。
• 大規模な確率的最適化との互換性を維持するようにAUCマージン損失を設計し、大規模データセットにおける効率的な学習を可能にした。
• 深層ニューラルネットワークフレームワーク内に新しい損失関数を統合し、エンドツーエンド学習中にAUCスコアを直接最適化した。
• ベンチマークデータセットを用いた広範なアブレーションスタディを通じて、AUCマージン損失とAUC二乗損失の性能および安定性を比較した。
• 提案されたDAMフレームワークを、胸部X線画像解析と皮膚病変分類の2つの実世界の医療画像分類タスクに適用した。
• スタンフォード・チェクサペントおよびKaggle 2020メラノーマデータセットを用いた大規模な実証的評価を通じて、手法の有効性を検証した。

実験結果

リサーチクエスチョン

• RQ1 AUCマージン損失は、医療画像分類タスクにおいてAUC二乗損失と比較して、ロバスト性および一般化性能で優れているか？
• RQ2 深層AUC最大化は、大規模で実世界の医療画像ベンチマークで最先端の性能を達成できるか？
• RQ3 新しい代替損失がAUC最大化における最適化安定性および収束性に与える影響は何か？
• RQ4 提案されたDAMフレームワークは、複雑でクラス不均衡が顕著な医療画像データセットにも良好に一般化できるか？
• RQ5 AUCマージン損失は、標準的な交差エントロピー学習と比較して、困難な医療診断タスクにおけるモデル性能をどの程度向上させるか？

主な発見

• アブレーションスタディの結果、提案されたAUCマージン損失は、ベンチマークデータセット上でのAUC二乗損失と比較して優れたロバスト性を示した。
• DAM手法はスタンフォード・チェクサペントコンペティションで1位を獲得し、複数の深刻な疾患を対象とした胸部X線画像分類で他手法を上回った。
• Kaggle 2020メラノーマ分類コンペティションでは上位1%（3,314チーム中33位）の順位を達成し、皮膚病変分類において強力な性能を示した。
• AUCマージン損失は、高いAUC性能を維持しながら大規模な確率的最適化を効果的に行えるため、DAMを実世界の医療応用に実用化可能とした。
• 本研究は、大規模な医療画像データセットへの深層AUC最大化の成功裏の適用を初めて実現し、臨床現場への導入可能性を示した。