[논문 리뷰] SPDA: Superpixel-based Data Augmentation for Biomedical Image Segmentation

Yizhe Zhang, Lin Yang외 6명|arXiv (Cornell University)|2019. 02. 28.

Advanced Image Fusion Techniques인용 수 6

한 줄 요약

이 논문은 초분할 기반 데이터 증강 방법인 SPDA를 제안하며, 원본 이미지와 초분할 이미지를 모두 사용하여 딥러닝 모델을 훈련시킴으로써 생물의학 영상 분할 성능을 향상시킨다. 전반적인 구조와 공간적 관계를 유지함으로써 SPDA는 모델의 일반화 능력을 향상시키고, 2D 및 3D 분할 작업 전반에서 일관되게 성능을 향상시킨다.

ABSTRACT

Supervised training a deep neural network aims to "teach" the network to mimic human visual perception that is represented by image-and-label pairs in the training data. Superpixelized (SP) images are visually perceivable to humans, but a conventionally trained deep learning model often performs poorly when working on SP images. To better mimic human visual perception, we think it is desirable for the deep learning model to be able to perceive not only raw images but also SP images. In this paper, we propose a new superpixel-based data augmentation (SPDA) method for training deep learning models for biomedical image segmentation. Our method applies a superpixel generation scheme to all the original training images to generate superpixelized images. The SP images thus obtained are then jointly used with the original training images to train a deep learning model. Our experiments of SPDA on four biomedical image datasets show that SPDA is effective and can consistently improve the performance of state-of-the-art fully convolutional networks for biomedical image segmentation in 2D and 3D images. Additional studies also demonstrate that SPDA can practically reduce the generalization gap.

연구 동기 및 목표

• 인간의 시각 인지 방식을 모방하지 못하는 딥러닝 모델의 문제를 해결하기 위해, 초분할 이미지를 효과적으로 인식할 수 있는 모델 개선
• 초분할 이미지를 훈련에 통합하여 완전 컨volution 네트워크(FCNs)의 일반화 능력과 내성 강도를 향상시키기
• 기존 방법과 호환 가능한 간단하면서도 효과적인 데이터 증강 기법 개발을 통한 분할 성능 향상
• 초분할 이미지에서 훈련함으로써 일반화 갭을 줄이고 다양한 생물의학 영상 데이터셋에서의 성능 향상을 입증하기

제안 방법

• 원본 훈련 이미지에서 공간적으로 연결된 시각적으로 유사한 픽셀들을 그룹화하여 초분할 셀을 생성하기 위해 SLIC 초분할 알고리즘 적용
• 각 초분할 내의 모든 픽셀 값을 해당 초분할 내 픽셀 평균값으로 대체하여 전반적인 형태와 색상 구조 유지
• 원본 훈련 세트를 원본 이미지와 해당 초분할 이미지를 조합하여 결합된 훈련 데이터셋으로 증강
• 결합된 데이터셋에서 완전 컨볼루션 네트워크(FCNs)를 훈련시켜 모델이 원본 및 초분할 표현 양쪽에서 학습할 수 있도록 함
• 성능 향상을 위해 표준 데이터 증강 기법(예: 무작위 자르기, 뒤집기, 회전, 탄성 변형)과 SPDA 통합
• 3D 초분할 생성에 비해 계산 비용이 높은 3D 슈퍼바이올로이드 생성을 피하기 위해, 고도로 이방성인 3D 이미지의 각 2D 슬라이스에 대해 초분할을 적용하여 2D FCN 모델 사용

실험 결과

연구 질문

• RQ1 초분할 이미지에서 훈련하는 딥러닝 모델이 생물의학 영상 분할에서 인간의 시각 인지 방식을 모방하고 일반화 능력을 향상시킬 수 있는가?
• RQ2 SPDA는 다양한 생물의학 영상 데이터셋에서 기존의 전통적 데이터 증강 방법과 비교해 분할 성능 향상에 얼마나 효과적인가?
• RQ3 SPDA는 완전 컨볼루션 네트워크에서 훈련 및 테스트 성능 간 일반화 갭을 줄이는가?
• RQ4 SPDA는 기존의 데이터 증강 기법과 효과적으로 통합되어 추가로 분할 정확도를 향상시킬 수 있는가?
• RQ5 SPDA는 고도로 이방성인 3D 이미지를 포함한 2D 및 3D 생물의학 영상 분할 작업 전반에 효과적인가?

주요 결과

• 신경 구조 데이터셋에서 SPDA는 분할 성능을 크게 향상시켰으며, U-Net + SPDA는 $V_{Fscore}^{Rand}$가 0.9950 ± 0.0002를 기록하여 U-Net + EDDA(0.9944 ± 0.003)를 능가했다.
• 샘선 분할 데이터셋에서 DCN + SPDA는 파트 A에서 $F_1$ 스코어 0.918, 파트 B에서 0.860을 기록하여 최신 기술인 MILD-Net(0.914 및 0.844)을 초월했다.
• 샘선 데이터셋 파트 B에서 SPDA는 오브제кт 하우스도르프 거리를 126.479에서 95.83으로 감소시켜 예측된 샘선과 진짜 샘선 간의 형태 유사도 향상을 나타냈다.
• 통계 분석 결과 모든 향상이 유의미하며, 주요 비교 사례(예: U-Net 대 U-Net + SPDA)의 p-value는 0.0001 이하였다.
• SPDA는 U-Net, DCN 등 다양한 아키텍처와 신경 구조, 샘선, 망막, 뇌 데이터셋 전반에서 일관되게 성능 향상을 보이며 광범위한 적용 가능성을 입증했다.
• 다양한 랜덤 시드로 여러 번의 실행에서 일관된 성능 향상과 테스트 세트에서의 성능 향상으로 인해 일반화 갭이 효과적으로 줄어들었다.