[논문 리뷰] Robust Deep AUC Maximization: A New Surrogate Loss and Empirical Studies on Medical Image Classification

Zhuoning Yuan, Yan Yan외 2명|arXiv (Cornell University)|2020. 12. 06.

Cutaneous Melanoma Detection and Management참고 문헌 26인용 수 11

한 줄 요약

이 논문은 딥 AUC 최적화(DAM)를 위한 새로운 강건한 마진 기반 대체 손실 함수를 제안하며, 기존의 AUC 제곱 손실에 비해 일반화 성능과 최적화 안정성을 향상시킨다. 이는 대규모 의료 영상 분류에서 최신 기술 수준의 성능을 달성했으며, 스탠포드 체크펌프 경연 대회에서 1등을 차지하고, 카글 2020 미엘라노마 분류 경연 대회에서 상위 1%를 기록하여, DAM 기법이 실제 의료 영상 작업에 성공적으로 적용된 최초의 사례임을 입증한다.

ABSTRACT

Deep AUC Maximization (DAM) is a paradigm for learning a deep neural network by maximizing the AUC score of the model on a dataset. Most previous works of AUC maximization focus on the perspective of optimization by designing efficient stochastic algorithms, and studies on generalization performance of DAM on difficult tasks are missing. In this work, we aim to make DAM more practical for interesting real-world applications (e.g., medical image classification). First, we propose a new margin-based surrogate loss function for the AUC score (named as the AUC margin loss). It is more robust than the commonly used AUC square loss, while enjoying the same advantage in terms of large-scale stochastic optimization. Second, we conduct empirical studies of our DAM method on difficult medical image classification tasks, namely classification of chest x-ray images for identifying many threatening diseases and classification of images of skin lesions for identifying melanoma. Our DAM method has achieved great success on these difficult tasks, i.e., the 1st place on Stanford CheXpert competition (by the paper submission date) and Top 1% rank (rank 33 out of 3314 teams) on Kaggle 2020 Melanoma classification competition. We also conduct extensive ablation studies to demonstrate the advantages of the new AUC margin loss over the AUC square loss on benchmark datasets. To the best of our knowledge, this is the first work that makes DAM succeed on large-scale medical image datasets.

연구 동기 및 목표

• 의료 영상 분류와 같은 어려운 실세계 과제에 대해 딥 AUC 최적화(DAM)의 일반화 성능에 대한 연구가 부족한 점을 해결하기 위해.
• 최적화 안정성과 성능을 향상시키는 더 강건한 대체 손실 함수를 개발하기 위해.
• 어려운 의료 영상 데이터셋에서 DAM을 실증적으로 검증하여, 이전 방법들에 비해 실용성과 우수성을 입증하기 위해.

제안 방법

• AUC 최적화를 위한 새로운 마진 기반 대체 손실 함수인 AUC 마진 손실을 제안하며, AUC 제곱 손실에 비해 강건성이 향상됨.
• 대규모 스트로스틱 최적화와의 호환성을 유지하도록 AUC 마진 손실을 설계하여, 대규모 데이터셋에서의 효율적 훈련을 가능하게 함.
• 딥 신경망 프레임워크 내에서 새로운 손실 함수를 활용해 엔드 투 엔드 훈련 중 AUC 점수를 직접 최적화함.
• 성능와 안정성 측면에서 AUC 마진 손실과 AUC 제곱 손실을 비교하기 위해 벤치마크 데이터셋에서 광범위한 아블레이션 연구를 수행함.
• 두 가지 실세계 의료 영상 분류 과제인 흉부 X-ray 분석과 피부 병변 분류에 제안된 DAM 프레임워크를 적용함.
• 스탠퍼드 체크펌프 및 카글 2020 미엘라노마 데이터셋에서 대규모 실증 평가를 통해 방법을 검증함.

실험 결과

연구 질문

• RQ1 의료 영상 분류 과제에서 제안된 AUC 마진 손실이 AUC 제곱 손실에 비해 강건성과 일반화 성능 측면에서 어떻게 비교되는가?
• RQ2 딥 AUC 최적화가 대규모 실세계 의료 영상 기준 평가에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ3 새로운 대체 손실이 AUC 최적화의 최적화 안정성과 수렴에 어떤 영향을 미치는가?
• RQ4 제안된 DAM 프레임워크가 복잡하고 클래스 불균형이 심한 의료 영상 데이터셋으로도 잘 일반화되는가?
• RQ5 표준 크로스 엔트로피 훈련에 비해 AUC 마진 손실이 어려운 의료 진단 과제에서 모델 성능을 얼마나 향상시키는가?

주요 결과

• 벤치마크 데이터셋에서의 아블레이션 연구에서 제안된 AUC 마진 손실이 AUC 제곱 손실에 비해 뛰어난 강건성을 확보함.
• DAM 방법은 스탠포드 체크펌프 경연 대회에서 1등을 차지하여, 여러 치명적인 질병에 대한 흉부 X-ray 영상 분류에서 다른 방법들을 압도함.
• 카글 2020 미엘라노마 분류 경연 대회에서 상위 1% 등수(3,314개 팀 중 33위)를 기록하여 피부 병변 분류 과제에서 뛰어난 성능을 입증함.
• AUC 마진 손실은 고성능 AUC 성능를 유지하면서도 대규모 스트로스틱 최적화를 효과적으로 가능하게 하여, DAM이 실세계 의료 응용에 실용적이게 만듦.
• 본 연구는 대규모 의료 영상 데이터셋에 대해 딥 AUC 최적화를 성공적으로 적용한 최초의 사례로서, 임상 적용 가능성의 잠재력을 보여줌.