[논문 리뷰] Extreme Augmentation : Can deep learning based medical image segmentation be trained using a single manually delineated scan?

Bilwaj Gaonkar, Edwards, Matthew외 3명|arXiv (Cornell University)|2018. 10. 03.

Medical Imaging and Analysis참고 문헌 30인용 수 7

한 줄 요약

이 논문은 단일 수동으로 묘사된 스캔을 사용하여 극한의 데이터 증강을 적용함으로써 딥러닝 기반 의료 영상 분할이 임상적으로 사용 가능한 성능에 도달할 수 있음을 보여준다. 기존 스캔당 최대 50개의 증강된 패치를 생성함으로써, 단일 스캔과 50배의 증강을 사용할 경우 모델은 딥스코어(0.73)를 달 đạt하였고, 아홉 개의 스캔을 사용할 경우 점수가 0.86으로 상승하였다. 이는 중량 증강이 수동 주석의 필요성을 크게 줄일 수 있으며, 향후 훈련을 위한 보정이 최소한으로 필요한 분할 결과를 생성할 수 있음을 시사한다.

ABSTRACT

Yes, it can. Data augmentation is perhaps the oldest preprocessing step in computer vision literature. Almost every computer vision model trained on imaging data uses some form of augmentation. In this paper, we use the inter-vertebral disk segmentation task alongside a deep residual U-Net as the learning model, to explore the effectiveness of augmentation. In the extreme, we observed that a model trained on patches extracted from just one scan, with each patch augmented 50 times; achieved a Dice score of 0.73 in a validation set of 40 cases. Qualitative evaluation indicated a clinically usable segmentation algorithm, which appropriately segments regions of interest, alongside limited false positive specks. When the initial patches are extracted from nine scans the average Dice coefficient jumps to 0.86 and most of the false positives disappear. While this still falls short of state-of-the-art deep learning based segmentation of discs reported in literature, qualitative examination reveals that it does yield segmentation, which can be amended by expert clinicians with minimal effort to generate additional data for training improved deep models. Extreme augmentation of training data, should thus be construed as a strategy for training deep learning based algorithms, when very little manually annotated data is available to work with. Models trained with extreme augmentation can then be used to accelerate the generation of manually labelled data. Hence, we show that extreme augmentation can be a valuable tool in addressing scaling up small imaging data sets to address medical image segmentation tasks.

연구 동기 및 목표

• 딥러닝 모델이 의료 영상 분할에서 극히 소규모의 수동 주석 데이터셋으로 효과적으로 훈련될 수 있는지 조사하는 것.
• 단일 또는 소수의 스캔만을 사용할 경우 극한의 데이터 증강이 모델 성능에 미치는 영향을 평가하는 것.
• 제한된 전문가 주석 자원이 있는 임상 환경에서 훈련 데이터 생성을 가속화하는 실용적인 전략을 제안하는 것.
• 증강된 모델이 보다 적은 전문가 보정으로도 임상적으로 사용 가능한 분할 결과를 생성할 수 있는지 보여주는 것.

제안 방법

• 128×128 픽셀의 입력 패치를 T1 강화 MRI 스캔에서 추출한 딥 리뷰지드 U-Net 아키텍처를 사용하였다.
• 패치는 90도 이내의 회전, 스케일링, 시어링, 반사 등의 기하학적 변환을 사용하여 증강되었으며, 기존 패치당 최대 50개의 증강 패치를 생성하였다.
• 예측된 분할 마스크와 진짜 마스크 간의 딥스코어를 최대화하도록 모델을 훈련시켰다.
• 훈련에는 1~9장의 수동으로 묘사된 스캔을 사용하였으며, 패치당 증강 수준은 5배에서 50배까지 다양했다.
• 일반화 능력을 평가하기 위해 다양한 스캐너에서 온 40개의 독립적인 스캔을 검증에 사용하였다.
• 임상의들이 모델의 분할 결과를 임상적 사용 가능성과 잠재적인 가짜 양성 패턴 측면에서 정성적으로 평가하였다.

실험 결과

연구 질문

• RQ1 단 한 장의 수동으로 묘사된 스캔으로만 훈련된 딥러닝 모델이 임상적으로 유용한 분할 성능을 달성할 수 있는가?
• RQ2 훈련 데이터가 극히 제한된 상황에서 극한의 데이터 증강이 분할 성능에 어떤 영향을 미치는가?
• RQ3 증강된 모델이 의료 영상 분할에서 수동 주석의 필요성을 어느 정도 줄일 수 있는가?
• RQ4 모델의 출력이 임상의에 의해 최소한의 노력으로 보정되어 추가 훈련 데이터를 생성할 수 있는가?

주요 결과

• 수동으로 분할된 스캔 한 장과 50배의 데이터 증강을 사용할 경우, 검증 세트 40건에서 딥스코어가 0.73를 달성하였다.
• 9장의 스캔을 사용하고 50배의 증강을 적용한 경우, 평균 딥스코어는 0.86으로 상승하였다.
• 정성적 평가 결과, 분할 결과는 임상적으로 사용 가능하였으며, 보정이 필요한 가짜 양성 점들이 제한적으로 존재하였다.
• 모델의 출력은 최소한의 전문가 보정만으로도 재훈련에 효과적으로 활용될 수 있었다.
• 극한의 증강은 소규모 데이터셋에서도 성능을 크게 향상시켰으며, 저자원 환경에서 기존 증강 전략보다 뛰어난 성능을 보였다.
• 결과적으로 극한의 증강은 제한된 주석 자원이 있는 임상 환경에서 딥러닝 모델 개발을 가속화하는 확장 가능한 전략이 될 수 있음을 시사한다.