[논문 리뷰] Constrained Optimization for Training Deep Neural Networks Under Class Imbalance.

Sara Sangalli, Ertunç Erdil외 3명|arXiv (Cornell University)|2021. 02. 21.

Imbalanced Data Classification Techniques참고 문헌 24인용 수 5

한 줄 요약

이 논문은 AUC(Receiver Operating Characteristic 곡선 아래 면적)를 최대화하는 새로운 제약 조건을 도입하여, 클래스 불균형 하에서 딥 네ural 네트워크(DNN) 학습을 위한 제약 최적화 프레임워크를 제안한다. 이 제약 조건은 증강 라그랑주 방법(AlM)을 사용하여 고정성도율(TPR)이 높은 영역에서 위양성률(FPR)을 감소시키는 데 목적이 있다. 이 방법은 기초 손실 함수에 영향을 주지 않고 CIFAR10 및 의료 영상 데이터셋 양쪽 모두에서 FPR과 AUC를 향상시킨다.

ABSTRACT

Deep neural networks (DNNs) are notorious for making more mistakes for the classes that have substantially fewer samples than the others during training. Such class imbalance is ubiquitous in clinical applications and very crucial to handle because the classes with fewer samples most often correspond to critical cases (e.g., cancer) where misclassifications can have severe consequences. Not to miss such cases, binary classifiers need to be operated at high True Positive Rates (TPR) by setting a higher threshold but this comes at the cost of very high False Positive Rates (FPR) for problems with class imbalance. Existing methods for learning under class imbalance most often do not take this into account. We argue that prediction accuracy should be improved by emphasizing reducing FPRs at high TPRs for problems where misclassification of the positive samples are associated with higher cost. To this end, we pose the training of a DNN for binary classification as a constrained optimization problem and introduce a novel constraint that can be used with existing loss functions to enforce maximal area under the ROC curve (AUC). We solve the resulting constrained optimization problem using an Augmented Lagrangian method (ALM), where the constraint emphasizes reduction of FPR at high TPR. We present experimental results for image-based classification applications using the CIFAR10 and an in-house medical imaging dataset. Our results demonstrate that the proposed method almost always improves the loss functions it is used with by attaining lower FPR at high TPR and higher or equal AUC.

연구 동기 및 목표

• 희귀하지만 치명적인 사례(예: 암)를 잘못 분류할 경우 심각한 결과를 초래할 수 있는 임상 응용 분야에서의 클래스 불균형 문제를 해결한다.
• 기존 방법이 고TPR와 저FPR을 우선시하지 못함을 인지하며, 특히 양성 사례를 놓치는 데 비용이 높은 상황에서 중요하다.
• DNN 학습을 제약 최적화 문제로 재정의하여, 고TPR 영역에서 FPR을 명시적으로 최소화함으로써 중요 검출 작업에 대한 모델 신뢰도를 향상시킨다.
• 최대 AUC를 달성하도록 유도하는 새로운 제약 조건을 도입하여, 고위험 분류 작업에 관련된 다양한 운영 포인트에서의 안정적인 성능을 확보한다.
• 증강 라그랑주 방법(AlM)을 사용해 기존 손실 함수와 제약 조건을 통합함으로써, 아키텍처 변경 최소화로 표준 DNN에 즉시 통합할 수 있도록 한다.

제안 방법

• 고TPR 영역에서 저위양성률(FPR)을 확보하기 위해 제약 조건을 포함하는 DNN 학습 목표를 제약 최적화 문제로 설정한다.
• ROC 곡선 아래 면적(AUC)에 기반한 새로운 제약 조건을 도입하여, 고TPR 영역에서의 성능를 자연스럽게 반영한다.
• 증강 라그랑주 방법(AlM)을 사용해 제약 최적화 문제를 해결함으로써 기울기 기반 최적화에서 효과적이고 안정적인 학습이 가능하다.
• 기존 손실 함수(예: 교차 엔트로피)에 제약 조건을 통합함으로써 네트워크 아키텍처를 수정하지 않고도 사용할 수 있도록 한다.
• 라그랑주 이중 변수를 반복적으로 최적화하여, 원래 손실 최소화와 FPR 제약 조건 충족 사이의 트레이드오프를 균형 잡는다.
• 고TPR 영역에서 FPR 제약 위반에 대한 페널티를 동적으로 조정함으로써, 민감도를 높이고 거짓 경고를 최소화하는 데 모델이 집중하도록 한다.

실험 결과

연구 질문

• RQ1 기본 손실 함수에 영향을 주지 않고 제약 최적화 프레임워크가 클래스 불균형 이진 분류에서 고TPR 영역에서의 위양성률(FPR)을 향상시킬 수 있는가?
• RQ2 새로운 제약 조건을 통한 AUC 최대화가 자원이 제한된 클래스에서 더 나은 일반화 성능을 이끌어낼 수 있는가, 특히 의료 영상에서의 적용에 대해?
• RQ3 제안된 AlM 기반 방법이 심각한 클래스 불균형 상황에서 고TPR를 유지하면서 FPR을 감소시키는 데 있어 표준 클래스 재가중 또는 포칼 손실과 비교해 어떻게 성능을 내는가?
• RQ4 기존 딥 러닝 손실 함수에 아키텍처 변경 없이 이 방법을 얼마나 잘 통합할 수 있는가?
• RQ5 이 방법이 다양한 데이터셋, 특히 임상 영상 데이터를 포함해 AUC와 FPR에서 일관된 향상을 이끌어낼 수 있는가?

주요 결과

• 제안된 방법은 CIFAR10과 내부 의료 영상 데이터셋 양쪽 모두에서 고TPR 영역에서 위양성률(FPR)을 일관되게 감소시켰다.
• 기본 모델이 표준 손실 함수로 학습된 경우와 비교해, 제안된 방법은 동일하거나 더 높은 ROC 곡선 아래 면적(AUC)을 달성했다.
• 기본 손실 함수가 그대로 유지된 상태에서도 FPR 향상 효과가 관찰되어, 제약 조건 자체의 효과성을 입증했다.
• 재학습이나 아키텍처 수정 없이도 성능을 유지하거나 향상시켜, 즉각적인 통합이 가능한 플러그인 방식을 구현했다.
• 증강 라그랑주 방법(AlM)은 제약 최적화를 효과적으로 처리하여 안정적인 수렴과 FPR 제약 조건의 신뢰할 수 있는 최적화를 보장했다.
• 희귀한 양성 사례(예: 암)를 잘못 분류할 경우 임상적 비용이 매우 높은 상황에서 특히 효과적이며, 진단 응용 분야에 적합하다.