[논문 리뷰] A hybrid approach for improving U-Net variants in medical image segmentation

Aitik Gupta, Joydip Dhar|arXiv (Cornell University)|2023. 07. 31.

AI in cancer detectionComputer Science인용 수 3

한 줄 요약

이 논문은 깊이 분리형 합성곱, 잔차 연결, 주의 풀링 메커니즘을 통합한 하이브리드 U-Net 변종을 제안하여 피부 병변 및 갑상선 샘 병변 데이터셋에서 모델 파라미터 수를 97% 감소시키면서도 분할 정확도를 유지하거나 향상시킵니다. 이 방법은 단지 230만 개의 파라미터로도 최신 기술 수준의 성능을 달성하여 정밀도를 희생시키지 않은 채 추론 효율성을 크게 향상시킵니다.

ABSTRACT

Medical image segmentation is vital to the area of medical imaging because it enables professionals to more accurately examine and understand the information offered by different imaging modalities. The technique of splitting a medical image into various segments or regions of interest is known as medical image segmentation. The segmented images that are produced can be used for many different things, including diagnosis, surgery planning, and therapy evaluation. In initial phase of research, major focus has been given to review existing deep-learning approaches, including researches like MultiResUNet, Attention U-Net, classical U-Net, and other variants. The attention feature vectors or maps dynamically add important weights to critical information, and most of these variants use these to increase accuracy, but the network parameter requirements are somewhat more stringent. They face certain problems such as overfitting, as their number of trainable parameters is very high, and so is their inference time. Therefore, the aim of this research is to reduce the network parameter requirements using depthwise separable convolutions, while maintaining performance over some medical image segmentation tasks such as skin lesion segmentation using attention system and residual connections.

연구 동기 및 목표

• 의료 영상 분할에서 추론 효율성을 향상시키기 위해 U-Net 변종의 학습 가능한 파라미터 수를 줄이기.
• 피부 병변 및 갑상선 샘 분할과 같은 도전적인 의료 영상 작업에서 분할 정확도를 유지하거나 향상시키기.
• 파라미터 수를 줄이면서도 특징 표현 능력을 유지하기 위해 깊이 분리형 합성곱을 통합하기.
• 잔차 연결과 주의 풀링을 통해 더 나은 기울기 흐름과 관련 영역에 집중함으로써 특징 학습을 향상시키기.
• 공개 데이터셋에서 하이브리드 아키텍처를 검증하고 MultiResUNet 및 Attention U-Net과 같은 최신 기술 모델들과 비교하기.

제안 방법

• 깊이 분리형 합성곱을 인코더에 적용하여 공간적 및 채널 별 합성곱을 분리함으로써 파라미터 수를 감소시킵니다.
• 인코더 및 디코더 블록 간에 잔차 연결을 추가하여 학습 안정성 향상과 기울기 흐름 개선을 도모합니다.
• 디코딩 전에 인코더 특징 맵에서 중요한 특징을 동적으로 강조하기 위해 주의 풀링 메커니즘을 도입합니다.
• U-Net의 스킵 연결을 깊이 분리형 합성곱의 효율성과 주의 메커니즘의 선택적 특징 가중치 부여 기능과 결합한 하이브리드 아키텍처를 구성합니다.
• 기본 초기 학습률 1e-4로 설정된 Adam 최적화를 사용하여 이진 교차 엔트로피 손실을 기반으로 엔드 투 엔드로 모델을 학습시킵니다.
• 각 구성 요소인 깊이 분리형 합성곱, 잔차 연결, 주의 풀링의 기여도를 분리하기 위해 추론 실험을 수행합니다.

실험 결과

연구 질문

• RQ1 깊이 분리형 합성곱은 분할 성능을 떨어뜨리지 않으면서도 U-Net 변종의 파라미터 수를 크게 줄일 수 있는가?
• RQ2 잔차 연결의 통합은 경량 U-Net 아키텍처에서 학습 안정성과 분할 정확도에 어떤 영향을 미치는가?
• RQ3 제안된 주의 풀링 메커니즘이 저파라미터 모델에서 특징 표현과 분할 정확도를 얼마나 향상시키는가?
• RQ4 MultiResUNet 및 Attention U-Net과 같은 최신 기술 수준의 U-Net 변종과 비교할 때 하이브리드 모델은 정확도와 파라미터 효율성 측면에서 어떻게 성과를 내는가?
• RQ5 제안된 아키텍처는 피부 병변 및 갑상선 샘 분할과 같은 다양한 의료 영상 작업에 잘 일반화되는가?

주요 결과

• 제안된 하이브리드 모델은 피부 병변 데이터셋인 HAM10000에서 딱도 계수 0.8872를 기록하여 U-Net(0.8739)과 Attention U-Net(0.8854)을 초월했습니다.
• 모델의 파라미터 수는 230만 개로 줄어들었으며, MultiResUNet(6480만) 대비 97% 감소하고 Attention U-Net(3488만) 대비 93% 감소했습니다.
• 갑상선 샘 분할 데이터셋에서 하이브리드 모델은 딱도 계수 0.9493과 정확도 0.9766을 기록하여 U-Net(0.9332 및 0.9347)을 초월했으며, 훨씬 적은 파라미터로 MultiResUNet의 성능을 따라했습니다.
• 추론 실험 결과, 깊이 분리형 합성곱, 잔차 연결, 주의 풀링의 조합가장 높은 IoU(0.9544)와 가장 낮은 ASSD(0.0953)를 기록하여 갑상선 데이터셋에서 최적의 성능을 보였습니다.
• 시각화 결과, 뚜렷하지 않은 병변 경계, 털에 의한 가림, 저대비 영역 등의 어려운 케이스에서 U-Net보다 모델 성능이 뛰어났습니다.
• 모델는 파라미터 효율성과 분할 정확도 사이의 최적의 균형을 달성하여 최소한의 계산 비용으로도 최신 기술 수준의 성능을 입증했습니다.