[논문 리뷰] How much data is needed to train a medical image deep learning system to achieve necessary high accuracy?

Junghwan Cho, Kyewook Lee외 3명|arXiv (Cornell University)|2015. 11. 19.

AI in cancer detection참고 문헌 3인용 수 276

한 줄 요약

이 연구는 축상 CT 영상이 6개 해부학적 유형으로 분류된 의료 영상 딥러닝 시스템의 최적 학습 데이터 크기를 결정하기 위해 학습 곡선 외삽 방법을 제안한다. 증가하는 데이터 크기(클래스당 5~200장)로 CNN을 훈련시켜, 평균 99.5% 정확도에 도달하기 위해 클래스당 4,092장의 이미지가 필요하다고 예측하였으며, 검증 시 1,000장의 이미지로 97.25% 정확도를 달성하였다. 이는 의료 AI에서 데이터 크기 추정을 위한 일반화 가능한 프레임워크를 제공한다.

ABSTRACT

The use of Convolutional Neural Networks (CNN) in natural image classification systems has produced very impressive results. Combined with the inherent nature of medical images that make them ideal for deep-learning, further application of such systems to medical image classification holds much promise. However, the usefulness and potential impact of such a system can be completely negated if it does not reach a target accuracy. In this paper, we present a study on determining the optimum size of the training data set necessary to achieve high classification accuracy with low variance in medical image classification systems. The CNN was applied to classify axial Computed Tomography (CT) images into six anatomical classes. We trained the CNN using six different sizes of training data set (5, 10, 20, 50, 100, and 200) and then tested the resulting system with a total of 6000 CT images. All images were acquired from the Massachusetts General Hospital (MGH) Picture Archiving and Communication System (PACS). Using this data, we employ the learning curve approach to predict classification accuracy at a given training sample size. Our research will present a general methodology for determining the training data set size necessary to achieve a certain target classification accuracy that can be easily applied to other problems within such systems.

연구 동기 및 목표

• 의료 영상 딥러닝 시스템이 고정밀도를 달성하기 위해 필요한 학습 데이터의 양을 결정하는 데 있어 중요한 격차를 해결하기 위해.
• 의료 영상 분류에서 높은 정확도와 낮은 분산을 보장하는 학습 데이터 크기 추정을 위한 일반화 가능한 방법론을 개발하기 위해.
• CT 영상의 여러 해부학적 영역에서 다양한 학습 데이터 크기의 영향을 분류 성능에 대해 평가하기 위해.
• 부족하거나 과도한 데이터로 인한 과적합 또는 과소적합을 피하기 위해 향후 의료 AI 시스템에 데이터 기반 접근법을 제공하기 위해.
• 정확도가 극히 중요한 임상 환경에서 신뢰할 수 있고 고성능인 딥러닝 모델의 구현을 지원하기 위해.

제안 방법

• 해부학적 유형당 5, 10, 20, 50, 100, 200장의 증가하는 학습 데이터 크기로 컨volutional neural network(CNN)을 훈련시켰다.
• 표준화된 품질과 방사선의학자가 레이블링한 보고서를 가진 DICOM 형식의 MGH Picture Archiving and Communication System(PACS)에서 확보한 축상 CT 영상 사용.
• 가중 최소 제곱법을 사용하여 곡선 피팅을 수행하고, 학습 샘플 크기의 함수로 분류 정확도를 모델링하기 위해 학습 곡선 접근법을 적용.
• 고정된 테스트 세트(6,000장의 CT 영상)에서 정확도와 반복 실험 동안의 표준편차를 측정하여 성능을 평가.
• 관측된 데이터 범위를 초월하여 목표 정확도(예: 99.5%)에 도달하기 위한 데이터 요구량을 예측하기 위해 학습 곡선을 외삽.
• 클래스당 1,000장의 학습 이미지에서 모델을 테스트하여 예측된 정확도와 실제 정확도를 비교함으로써 예측을 검증.

실험 결과

연구 질문

• RQ1 의료 영상 딥러닝 시스템에서 높은 분류 정확도(예: >99%)를 달성하기 위해 필요한 최소한의 학습 데이터는 얼마인가?
• RQ2 학습 데이터 크기가 증가할수록 CT 영상의 다양한 해부학적 영역에서 분류 정확도와 분산은 어떻게 변화하는가?
• RQ3 학습 곡선 외삽 방법은 의료 영상 분류에서 목표 정확도에 도달하기 위한 데이터 크기를 신뢰성 있게 예측할 수 있는가?
• RQ4 학습 세트 크기가 증가함에 따라 오분류 이미지의 표준편차는 어떻게 변화하며, 이는 모델의 견고성에 어떤 의미를 갖는가?
• RQ5 제안된 방법론은 다른 의료 영상 분류 과제로 얼마나 일반화될 수 있는가?

주요 결과

• 클래스당 5장에서 50장으로의 학습 데이터 증가 동안 평균 정확도가 8.01%에서 77.15%로 급격히 상승하여, 작은 표본 크기에서의 높은 데이터 민감도를 보였다.
• 100장에서 200장 사이의 학습 데이터 크기에서 정확도가 정체되며, 각각 89.68%와 95.67%에 도달하여 이 범위를 초월하면 수익 감소 현상이 나타남을 시사했다.
• 학습 곡선 외삽에 따르면 클래스당 1,000장의 이미지에서 98%의 정확도를 달성할 것으로 예측되었으며, 실제로는 97.25%의 정확도를 기록하여 모델의 신뢰성을 확인하였다.
• 예측 외삽에 따르면 목표 정확도 99.5%에 도달하기 위해 클래스당 4,092장의 이미지가 필요하다고 확인되었다.
• 더 큰 학습 세트로 갈수록 오분류 이미지의 표준편차가 감소하여, 모델의 일관성 향상과 분산 감소를 나타냈다.
• 5장 및 10장의 학습 세트는 높은 오분류율로 인해 낮은 표준편차를 보였으며, 매우 작은 표본 크기에서의 불안정성을 확인하였다.