[論文レビュー] Constrained Optimization for Training Deep Neural Networks Under Class Imbalance.

Sara Sangalli, Ertunç Erdil+3 more|arXiv (Cornell University)|Feb 21, 2021

Imbalanced Data Classification Techniques参考文献 24被引用数 5

ひとこと要約

本稿では、AUC（受診者操作特性曲線下の面積）を最大化する新しい制約を課すことにより、クラス不均衡下での深層ニューラルネットワーク（DNN）の学習に制約付き最適化フレームワークを提案する。増強ラグランジュ法（ALM）を用いて、高真陽性率（TPR）における誤検出率（FPR）を低減する。この手法は、CIFAR10と医療画像データセットの両方でベース損失関数に影響を与えずにFPRとAUCを向上させる。

ABSTRACT

Deep neural networks (DNNs) are notorious for making more mistakes for the classes that have substantially fewer samples than the others during training. Such class imbalance is ubiquitous in clinical applications and very crucial to handle because the classes with fewer samples most often correspond to critical cases (e.g., cancer) where misclassifications can have severe consequences. Not to miss such cases, binary classifiers need to be operated at high True Positive Rates (TPR) by setting a higher threshold but this comes at the cost of very high False Positive Rates (FPR) for problems with class imbalance. Existing methods for learning under class imbalance most often do not take this into account. We argue that prediction accuracy should be improved by emphasizing reducing FPRs at high TPRs for problems where misclassification of the positive samples are associated with higher cost. To this end, we pose the training of a DNN for binary classification as a constrained optimization problem and introduce a novel constraint that can be used with existing loss functions to enforce maximal area under the ROC curve (AUC). We solve the resulting constrained optimization problem using an Augmented Lagrangian method (ALM), where the constraint emphasizes reduction of FPR at high TPR. We present experimental results for image-based classification applications using the CIFAR10 and an in-house medical imaging dataset. Our results demonstrate that the proposed method almost always improves the loss functions it is used with by attaining lower FPR at high TPR and higher or equal AUC.

研究の動機と目的

• 希少だが深刻な影響を及ぼすケース（例：がん）を誤分類するコストが高いため、臨床応用において特に深刻な影響を及ぼすクラス不均衡の課題に対処すること。
• 標準的手法が、陽性例を逃すコストが高い状況で、高TPRと低FPRを優先しないことの認識。
• DNN学習を制約付き最適化問題として定式化し、高TPRにおけるFPRを明示的に最小化することで、重要な検出タスクにおけるモデル信頼性を向上させること。
• 最大AUCを促進する新しい制約を導入し、高リスク分類に適した運용ポイントにおける頑健な性能を保証すること。
• 増強ラグランジュ法（ALM）を用いて制約を既存の損失関数と統合し、アーキテクチャの変更を最小限に抑えた実用的学習を可能とすること。

提案手法

• 高真陽性率（TPR）における誤検出率（FPR）を低く保つ制約を課すことで、DNN学習の目的関数を制約付き最適化問題として定式化する。
• 受診者操作特性曲線下の面積（AUC）に基づく新しい制約を導入し、高TN比率（TNR）運용ポイントにおける性能を内蔵的に捉える。
• 増強ラグランジュ法（ALM）を用いて制約付き最適化問題を解き、勾配ベース最適化による効果的かつ安定した学習を可能にする。
• ネットワークアーキテクチャを変更せずに、既存の損失関数（例：交差エントロピー）に制約を統合し、標準DNNに即座に適用可能なプラグイン方式を実現する。
• ラグランジュ双対変数を反復的に最適化することで、元の損失関数の最小化とFPR制約の満たし方のトレードオフをバランスさせる。
• 高TPRにおけるFPR制約違反に対するペナルティを動的に調整し、感度を高めつつ誤報を低減するモデルの優先順位を確保する。

実験結果

リサーチクエスチョン

• RQ1 制約付き最適化フレームワークは、ベース損失関数に影響を与えずに、クラス不均衡下の二値分類において高TPRにおける誤検出率（FPR）を改善できるか？
• RQ2 新しい制約によるAUC最大化は、特に医療画像分野におけるリソースが限られたクラスの一般化性能を向上させるか？
• RQ3 提案手法（ALMベース）は、極端なクラス不均衡下で高TPRを維持しながらFPRを低減する点で、標準的なクラス再重み付けやフォーカル損失と比較して優れているか？
• RQ4 この手法は、アーキテクチャの変更なしに既存の深層学習損失関数に統合可能か？
• RQ5 この手法は、臨床画像データを含む多様なデータセットにおいて、一貫してAUCとFPRの向上をもたらすか？

主な発見

• 提案手法は、CIFAR10と自社開発の医療画像データセットの両方で、高真陽性率（TPR）における誤検出率（FPR）を一貫して低減した。
• 標準損失関数で学習されたベースラインモデルと比較して、同等または高い受診者操作特性曲線下の面積（AUC）を達成した。
• ベース損失関数がそのままである状態でも、FPRの改善が観察された。これは、制約そのものの有効性を示している。
• 再学習やアーキテクチャの変更なしに、モデル性能を維持または向上させることができ、プラグイン統合が可能である。
• 増強ラグランジュ法（ALM）は制約付き最適化を効果的に処理し、安定した収束とFPR制約の信頼性ある最適化を保証した。
• 希少な陽性例（例：がん）を誤分類するコストが高い状況では特に有効であり、診断用途に適している。