[論文レビュー] Overfitting of neural nets under class imbalance: Analysis and improvements for segmentation

Zeju Li, Konstantinos Kamnitsas+1 more|arXiv (Cornell University)|Jul 25, 2019

Adversarial Robustness in Machine Learning参考文献 7被引用数 15

ひとこと要約

本稿では、クラス不均衡下での過学習が、セグメンテーションにおける未反映の前景クラスのロジット活性化を意思決定境界に近づけ、感度を低下させることを特定している。これを解決するために、マージンの大きな損失、フォーカル損失、対敵訓練、ミックスアップといった既存の損失関数および正則化手法に非対称な修正を加える手法を提案し、特にデータが少ない状況で顕著な性能向上を達成した。脳腫瘍コアセグメンテーションにおいて、DSCは最大12%向上し、感度は15%増加した。

ABSTRACT

Overfitting in deep learning has been the focus of a number of recent works, yet its exact impact on the behavior of neural networks is not well understood. This study analyzes overfitting by examining how the distribution of logits alters in relation to how much the model overfits. Specifically, we find that when training with few data samples, the distribution of logit activations when processing unseen test samples of an under-represented class tends to shift towards and even across the decision boundary, while the over-represented class seems unaffected. In image segmentation, foreground samples are often heavily under-represented. We observe that sensitivity of the model drops as a result of overfitting, while precision remains mostly stable. Based on our analysis, we derive asymmetric modifications of existing loss functions and regularizers including a large margin loss, focal loss, adversarial training and mixup, which specifically aim at reducing the shift observed when embedding unseen samples of the under-represented class. We study the case of binary segmentation of brain tumor core and show that our proposed simple modifications lead to significantly improved segmentation performance over the symmetric variants.

研究の動機と目的

• クラス不均衡下での過学習が、画像セグメンテーション用の深層ニューラルネットワークにおけるロジット分布に与える影響を分析すること。
• 推論段階で意思決定境界に近づくロジットシフトのため、未反映の前景クラスの感度が低下することを同定すること。
• 未反映クラスの過学習行動に特化した、既存の損失関数および正則化手法の非対称な修正を開発すること。
• 医療画像診断で一般的な低データ・高クラス不均衡状況において、特に感度の向上を図ること。
• 研究者らが過学習を検出・理解できるように、ロジット分布分析を用いた診断ツールを提供すること。

提案手法

• 訓練データ量を変化させたCNNの最終層におけるロジット分布を分析し、前景および背景クラスの訓練サンプルとテストサンプルを比較する。
• マージンの大きな損失、フォーカル損失、対敵訓練、ミックスアップといった損失関数および正則化手法に非対称なバリエーションを提案。最適化目的を未反映クラスのロバスト性向上を優先するように変更する。
• マージンの大きな損失では、マージンを非対称に適用し、未観測の前景ロジットのみを意思決定境界から遠ざける。
• フォーカル損失では、焦点パラメータを調整して前景サンプルに対する制約を解除し、境界付近でのロジットの飽和を防ぐ。
• 対敵訓練では、摂動を前景サンプルにのみ適用し、一般化性能を向上させる。
• ミックスアップでは、補間を前景サンプルに偏らせて、よりロバストな埋め込みを生成し、意思決定境界を前景から遠ざける。

実験結果

リサーチクエスチョン

• RQ1 クラス不均衡下での過学習が、画像セグメンテーション用の深層ニューラルネットワークにおけるロジット活性化の分布にどのように影響を与えるか？
• RQ2 安定した精度を示すにもかかわらず、推論段階で未反映の前景クラスの感度が低下する理由は何か？
• RQ3 対称的な損失関数および正則化手法が、不均衡セグメンテーションにおけるロジットシフト問題をどの程度効果的に解消できないか？
• RQ4 既存の正則化手法に非対称な修正を加えることで、ロジットシフトを効果的に低減し、低データ環境下での感度を向上させられるか？
• RQ5 提案手法の非対称なアプローチが、さまざまな訓練データ量において、DSC、感度、精度の面で対称ベースラインと比べてどの程度優れているか？

主な発見

• 訓練データを5%に制限した場合、標準的な交差エントロピー訓練では感度が43%に低下するが、精度は79%を維持しており、過学習に起因する感度の低下が示唆される。
• 5%のデータで訓練した際、未観測の前景サンプルの平均ロジット活性化は意思決定境界に著しく近づく（Δẑ = 0.88）ため、偽陰性が発生する。
• 非対称なマージンの大きな損失は、5%の訓練データでDSCを0.51から0.55、感度を0.43から0.51に向上させ、対称バージョンを上回る性能を示した。
• 非対称なミックスアップは最大の向上効果を示し、5%データでDSCを0.59、感度を0.58にまで引き上げ、ベースライン比で感度12%の相対的向上を達成した。
• 4つの非対称手法を組み合わせた場合、5%データでDSCが0.62、感度が0.66に達し、バニラ交差エントロピーと比較して感度が22%の相対的向上を示した。
• ロジット分布分析により、対称手法では前景ロジットのシフトを防げない一方、非対称バージョンでは未観測の前景サンプルに対して正のロジットを維持していることが明らかになった。