[논문 리뷰] Segmentation of Liver Lesions with Reduced Complexity Deep Models

Ram Krishna Pandey, Aswin Vasan외 1명|arXiv (Cornell University)|2018. 05. 23.

Advanced Neural Network Applications참고 문헌 21인용 수 16

한 줄 요약

이 논문은 CT 영상에서 간 병변 세그멘테이션을 위한 경량이며 계산적으로 효율적인 딥러닝 아키텍처를 제안한다. U-Net의 디컨볼루션을 이중선형 보간과 서브픽셀 컨볼루션으로 대체하여 파rameter 수를 13.8배 감소시켰다. 이 모델은 LiTS 2017 챌린지에서 200만 개의 학습 가능한 파라미터로만 0.587의 경쟁력 있는 Dice 스코어를 달성하여 모바일 장치에의 잠재적 배포를 가능하게 한다.

ABSTRACT

We propose a computationally efficient architecture that learns to segment lesions from CT images of the liver. The proposed architecture uses bilinear interpolation with sub-pixel convolution at the last layer to upscale the course feature in bottle neck architecture. Since bilinear interpolation and sub-pixel convolution do not have any learnable parameter, our overall model is faster and occupies less memory footprint than the traditional U-net. We evaluate our proposed architecture on the highly competitive dataset of 2017 Liver Tumor Segmentation (LiTS) Challenge. Our method achieves competitive results while reducing the number of learnable parameters roughly by a factor of 13.8 compared to the original UNet model.

연구 동기 및 목표

• 최신 의료 영상 세그멘테이션 모델, 특히 U-Net 변종의 높은 계산 비용과 메모리 소비 문제를 해결한다.
• 저자원 의료 환경에서 모바일 장치에 배포 가능한 빠르고 효율적인 아키텍처를 개발한다.
• 세그멘테이션 성능을 훼손하지 않으면서 U-Net 유사 아키텍처의 학습 가능한 파라미터 수를 줄인다.
• 사전 훈련된 모델이나 3D-CRF와 같은 후처리 기법에 의존하지 않고 엔드 투 엔드 훈련을 가능하게 한다.
• 저자원 지역에서 실시간으로 현장에서 의료 진단을 가능하게 하기 위해 모바일 장치에 배포 가능한 모델을 제공한다.

제안 방법

• U-Net 디코더의 전통적 디컨볼루션 레이어를 이중선형 보간과 서브픽셀 컨볼루션으로 대체한다. 이는 모두 파라미터가 없는 연산이다.
• 에코더 및 디코더 블록에서 깊이 분리형 컨볼루션을 사용하여 파라미터 수를 줄이면서도 모델 용량을 유지한다.
• 장거리 및 단거리 스킵 연결을 모두 통합하여 공간적 세부 정보를 유지하고 훈련 안정성을 향상시킨다.
• 각 ResNet 블록 이전에 배치 정규화를 적용하여 내부 공변량 이동을 완화하고 수렴을 향상시킨다.
• 배치 크기가 16인 10만 번의 반복을 통해 훈련하며, 75:25 훈련-검증 분할과 k-폴드 교차 검증을 활용한다.
• 검증 Dice 스코어 기반 조기 정지 기법을 사용하여 최고 성능을 보인 가중치만 저장한다.

실험 결과

연구 질문

• RQ1 U-Net 기반 아키텍처가 훨씬 적은 학습 가능한 파라미터로도 경쟁력 있는 간 병변 세그멘테이션 성능을 달성할 수 있는가?
• RQ2 디컨볼루션을 이중선형 보간과 서브픽셀 컨볼루션으로 대체할 경우 추론 속도와 메모리 사용에 어떤 영향을 미치는가?
• RQ3 깊이 분리형 컨볼루션을 통해 얼마나 모델 복잡도를 줄일 수 있으며, 동시에 세그멘테이션 정확도를 유지할 수 있는가?
• RQ4 엔드 투 엔드 훈련된 경량 모델이 후처리나 사전 훈련된 가중치에 의존하는 더 복잡한 모델보다 성능이 뛰어날 수 있는가?
• RQ5 이러한 컴팩트한 모델을 저자원 환경에서 실시간 의료 진단을 위해 모바일 장치에 배포하는 것이 가능한가?

주요 결과

• 제안된 모델은 학습 가능한 파라미터 수를 200만 개로 줄여 원래 U-Net(3000만 개 파라미터) 대비 13.8배 감소시켰다.
• LiTS 2017 챌린지에서 Dice 스코어 0.587을 달성하여 기준 U-Net 및 여러 다른 방법들보다 파라미터 효율성에서 뛰어난 성능을 보였다.
• Titan X GPU에서 훈련 시간은 기존 U-Net 대비 약 2일로 단축되었다.
• 사전 훈련된 가중치나 3D-CRF와 같은 후처리 모듈이 필요 없어 엔드 투 엔드 훈련과 더 빠른 추론을 가능하게 하였다.
• 저메모리 프로파일과 빠른 추론 덕분에 설계 선택 사항들에 의해 모바일 배포에 적합한 아키텍처로 입증되었다.
• Vorontsov 등(0.66)의 성능보다 낮은 Dice 스코어를 기록했지만, 훨씬 낮은 복잡도로 유사한 성능를 달성하였다.