[논문 리뷰] Overfitting of neural nets under class imbalance: Analysis and improvements for segmentation

Zeju Li, Konstantinos Kamnitsas외 1명|arXiv (Cornell University)|2019. 07. 25.

Adversarial Robustness in Machine Learning참고 문헌 7인용 수 15

한 줄 요약

이 논문은 클래스 불균형 하에서 과적합이 발생할 경우 세그멘테이션에서 부족하게 표현된 전경 클래스의 로짓 활성화가 결정 경계 쪽으로 이동하고 이를 초월하게 되어 민감도가 감소함을 규명한다. 이를 해결하기 위해 대비되는 손실 함수 및 정규화 기법—예를 들어, 라지 마진 손실, 포칼 손실, 적대적 훈련, 믹스업—을 비대칭적으로 수정함으로써 성능 향상을 이룩하였으며, 특히 데이터가 적은 환경에서 뚜렷한 성과 향상을 보였고, DSC는 최대 12% 향상되고 민감도는 15% 증가하였다. 뇌 종양 코어 세그멘테이션에서의 성과가 그 예이다.

ABSTRACT

Overfitting in deep learning has been the focus of a number of recent works, yet its exact impact on the behavior of neural networks is not well understood. This study analyzes overfitting by examining how the distribution of logits alters in relation to how much the model overfits. Specifically, we find that when training with few data samples, the distribution of logit activations when processing unseen test samples of an under-represented class tends to shift towards and even across the decision boundary, while the over-represented class seems unaffected. In image segmentation, foreground samples are often heavily under-represented. We observe that sensitivity of the model drops as a result of overfitting, while precision remains mostly stable. Based on our analysis, we derive asymmetric modifications of existing loss functions and regularizers including a large margin loss, focal loss, adversarial training and mixup, which specifically aim at reducing the shift observed when embedding unseen samples of the under-represented class. We study the case of binary segmentation of brain tumor core and show that our proposed simple modifications lead to significantly improved segmentation performance over the symmetric variants.

연구 동기 및 목표

• 딥 뉴럴 네트워크에서 이미지 세그멘테이션에 대해 클래스 불균형 하에서 과적합이 로짓 분포에 미치는 영향을 분석하는 것.
• 훈련 중에 부족하게 표현된 전경 클래스가 추론 시 결정 경계 쪽으로 로짓이 이동함으로써 민감도가 저하됨을 규명하는 것.
• 부족하게 표현된 클래스의 과적합 행동을 특별히 타겟으로 삼는 기존 손실 함수 및 정규화 기법의 비대칭적 수정을 개발하는 것.
• 의료 영상에서 흔한 낮은 데이터, 높은 클래스 불균형 상황에서 세그멘테이션 성능, 특히 민감도 향상을 도모하는 것.
• 실무자들이 모델 과적합을 탐지하고 이해할 수 있도록 로짓 분포 분 析를 활용한 진단 도구를 제공하는 것.

제안 방법

• 다양한 양의 데이터로 훈련된 CNN의 최종 레이어에서 로짓 분포를 분석하며, 전경 및 배경 클래스에 대해 훈련 및 테스트 샘플을 비교한다.
• 대비되는 손실 함수 및 정규화 기법—라지 마진 손실, 포칼 손실, 적대적 훈련, 믹스업—의 비대칭 변형을 제안하며, 부족하게 표현된 클래스의 강건성 강화를 우선시하는 최적화 목표를 수정한다.
• 라지 마진 손실의 경우, 마진을 비대칭적으로 적용하여 오직 미리보지 않은 전경 로짓만 결정 경계에서 멀리 밀어내도록 한다.
• 포칼 손실의 경우, 집중 파라미터를 조정하여 전경 샘플에 대한 제약 조건을 제거함으로써 경계 근처에서 로짓 포화를 방지한다.
• 적대적 훈련의 경우, 편향을 전경 샘플에만 적용하여 그들의 일반화 능력을 향상시킨다.
• 믹스업의 경우, 보간을 전경 샘플 쪽으로 편향시켜 더 강건한 임베딩을 생성하고 결정 경계를 전경 쪽에서 멀리 이동시킨다.

실험 결과

연구 질문

• RQ1 클래스 불균형 하에서 과적합이 딥 뉴럴 네트워크의 이미지 세그멘테이션에서 로짓 활성화 분포에 어떻게 영향을 미치는가?
• RQ2 정밀도는 안정적인데도 불구하고, 추론 시 부족하게 표현된 전경 클래스의 민감도가 왜 저하되는가?
• RQ3 대칭적인 손실 함수 및 정규화 기법이 불균형 세그멘테이션에서 로짓 이동 문제를 얼마나 효과적으로 해결하지 못하는가?
• RQ4 기존 정규화 기법에 대한 비대칭 수정이 낮은 데이터 설정에서 로짓 이동을 효과적으로 줄이고 민감도를 향상시킬 수 있는가?
• RQ5 다양한 훈련 데이터 크기에서 제안된 비대칭 기법이 대칭 기반 모델 대비 DSC, 민감도 및 정밀도 측면에서 어떻게 비교되는가?

주요 결과

• 훈련 데이터의 5%만으로도 표준 크로스 엔트로피 훈련 시 민감도는 43%로 감소하지만 정밀도는 79%로 높게 유지되어 과적합으로 인한 민감도 손실을 시사한다.
• 5% 데이터로 훈련했을 때, 미리보지 않은 전경 샘플의 평균 로짓 활성화가 결정 경계 쪽으로 크게 이동함(Δẑ = 0.88)하여 가짜 음성 결과가 발생한다.
• 비대칭 라지 마진 손실은 5% 훈련 데이터에서 DSC를 0.51에서 0.55로, 민감도를 0.43에서 0.51로 향상시켜 대칭 버전을 능가한다.
• 비대칭 믹스업은 가장 큰 성과 향상을 이룩하여, 5% 데이터에서 DSC를 0.59로, 민감도를 0.58로 끌어올렸으며, 베이스라인 대비 민감도 상대적 향상률 12%를 기록했다.
• 모든 네 가지 비대칭 기법을 조합한 결과, 5% 데이터에서 DSC는 0.62, 민감도는 0.66를 기록했으며, 순수 크로스 엔트로피 대비 민감도 상대적 향상률 22%를 기록했다.
• 로짓 분포 분석 결과, 대칭 기법은 전경 로짓 이동을 방지하지 못하는 반면, 비대칭 변형은 미리보지 않은 전경 샘플에 대해 양의 로짓을 유지함을 확인했다.