[논문 리뷰] CFPNet-M: A Light-Weight Encoder-Decoder Based Network for Multimodal Biomedical Image Real-Time Segmentation

Ange Lou, Shuyue Guan외 1명|arXiv (Cornell University)|2021. 05. 10.

AI in cancer detection참고 문헌 52인용 수 16

한 줄 요약

CFPNet-M은 다중 모odal 생물의학 영상 실시간 분할을 위한 경량형 인코더-디코더 신경망으로, 확장 채널별 CNN 모듈과 아키텍처 단순화를 도입하여 파라미터 수를 0.65M(기본 U-Net의 2%)로 줄였지만 높은 정확도를 유지한다. 256×192 입력에서 단일 RTX 2070Ti GPU에서 80 FPS의 추론 속도를 달성하여 다섯 가지 다양한 의료 영상 데이터셋에서 Tanimoto 유사도를 사용해 더 큰 모델들을 능가한다.

ABSTRACT

Currently, developments of deep learning techniques are providing instrumental to identify, classify, and quantify patterns in medical images. Segmentation is one of the important applications in medical image analysis. In this regard, U-Net is the predominant approach to medical image segmentation tasks. However, we found that those U-Net based models have limitations in several aspects, for example, millions of parameters in the U-Net consuming considerable computation resource and memory, lack of global information, and missing some tough objects. Therefore, we applied two modifications to improve the U-Net model: 1) designed and added the dilated channel-wise CNN module, 2) simplified the U shape network. Based on these two modifications, we proposed a novel light-weight architecture -- Channel-wise Feature Pyramid Network for Medicine (CFPNet-M). To evaluate our method, we selected five datasets with different modalities: thermography, electron microscopy, endoscopy, dermoscopy, and digital retinal images. And we compared its performance with several models having different parameter scales. This paper also involves our previous studies of DC-UNet and some commonly used light-weight neural networks. We applied the Tanimoto similarity instead of the Jaccard index for gray-level image measurements. By comparison, CFPNet-M achieves comparable segmentation results on all five medical datasets with only 0.65 million parameters, which is about 2% of U-Net, and 8.8 MB memory. Meanwhile, the inference speed can reach 80 FPS on a single RTX 2070Ti GPU with the 256 by 192 pixels input size.

연구 동기 및 목표

• 생물의학 영상 분할에서 U-Net 기반 모델의 높은 계산 및 메모리 요구량을 해결하기 위해.
• 도전적인 객체에서의 분할 성능 향상과 글로벌 특징 표현 향상을 위해.
• 자원 제약이 있는 장치에서 실시간 추론에 적합한 경량 아키텍처를 개발하기 위해.
• 열화상, 내 endoscopy, 망막 영상 등 다양한 의료 영상 모odal을 포함한 다각도의 영상 모달에서 성능 평가를 수행하기 위해.
• 최소한의 파라미터 수로도 Tanimoto 유사도를 주요 평가 지표로 사용하여 경쟁 가능한 분할 정확도를 달성할 수 있음을 입증하기 위해.

제안 방법

• 다양한 스케일의 채널별 특징을 파라미터 수를 줄여가며 캡처하기 위해 확장 채널별 CNN 모듈을 제안하였다.
• 여분의 레이어와 연결을 제거하여 U-Net의 인코더-디코더 구조를 단순화하여 모델 복잡도를 감소시켰다.
• 계산 부담을 증가시키지 않으면서도 특징 표현을 향상시키기 위해 확장 채널별 모듈을 인코더 경로에 통합하였다.
• 공간 해상도를 유지하고 기울기 흐름을 촉진하기 위해 대칭적인 스킵 연결 설계를 적용하였다.
• 이진 교차 엔트로피 손실과 Dice 계수 최적화를 사용하여 네트워크를 엔드 투 엔드로 훈련시켰다.
• 회색 수준의 생물의학 영상에 대해 주 평가 지표로 Tanimoto 유사도(F1-스코어)를 사용하였다.

실험 결과

연구 질문

• RQ1 다중 모달 생물의학 영상에서 크게 감소된 파라미터 수로도 경쟁 가능한 분할 정확도를 유지할 수 있는가?
• RQ2 확장 채널별 CNN 모듈의 통합이 작은 구조나 감지하기 어려운 구조의 특징 표현 및 분할 성능 향상에 기여하는가?
• RQ3 단순화된 인코더-디코더 아키텍처가 성능을 희생시키지 않고 실시간 추론을 달성할 수 있는가?
• RQ4 CFPNet-M은 U-Net과 같은 더 큰 모델과 MobileNet과 같은 경량 네트워크에 비해 정확도와 속도 측면에서 어떻게 비교되는가?
• RQ5 회색 수준의 생물의학 영상에서 Tanimoto 유사도가 Jaccard 지수보다 더 신뢰할 수 있는 분할 평가를 제공하는가?

주요 결과

• CFPNet-M은 열화상, 내 endoscopy, 피부 내시경, 전자현미경, 망막 영상 등 다섯 가지 다양한 생물의학 영상 데이터셋에서 더 큰 모델들과 비교해 유사한 분할 성능을 달성하였다.
• 모델의 파라미터 수는 단지 0.65M에 불과하여 표준 U-Net의 파라미터 수의 2%에 해당한다.
• 메모리 사용량은 단지 8.8 MB로, 표준 U-Net에 비해 크게 감소된 메모리 프로파일을 보였다.
• 256×192 입력 해상도에서 단일 RTX 2070Ti GPU에서 80 FPS의 추론 속도를 확보하였다.
• 평가 지표로 Tanimoto 유사도를 사용함으로써, 그레이 레벨 이미지에서 분할 성능 평가가 더욱 견고하고 정확하게 이루어졌다.
• 제안된 아키텍처는 파라미터 효율성과 추론 속도 측면에서 DC-UNet과 표준 경량 네트워크를 모두 뛰어넘었다.