[논문 리뷰] Divided We Stand: A Novel Residual Group Attention Mechanism for Medical Image Segmentation

Chaitanya Kaul, Nick Pears외 1명|arXiv (Cornell University)|2019. 12. 04.

AI in cancer detection참고 문헌 22인용 수 5

한 줄 요약

이 논문은 의료 영상 분할을 위한 잔차 학습, 그룹 컨볼루션, 그리고 새로운 주의 메커니즘을 통합한 새로운 잔차 블록인 FocusNetAlpha를 제안한다. 이러한 구성 요소들을 하이브리드 손실 함수와 결합함으로써, ISIC 2018, 세포 핵, DRIVE 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 기본 잔차 블록 대비 IoU를 5.6% 향상시키고 ResNeXt 그룹 컨볼루션 블록 대비 1.3% 향상시켰다. 이는 더 적은 파라미터 수와 FLOPs를 사용함에도 불구하고 달성한 성과이다.

ABSTRACT

Given that convolutional neural networks extract features via learning convolution kernels, it makes sense to design better kernels which can in turn lead to better feature extraction. In this paper, we propose a new residual block for convolutional neural networks in the context of medical image segmentation. We combine attention mechanisms with group convolutions to create our group attention mechanism, which forms the fundamental building block of FocusNetAlpha - our convolutional autoencoder. We adapt a hybrid loss based on balanced cross entropy, tversky loss and the adaptive logarithmic loss to create a loss function that converges faster and more accurately to the minimum solution. On comparison with the different residual block variants, we observed a 5.6% increase in the IoU on the ISIC 2017 dataset over the basic residual block and a 1.3% increase over the resneXt group convolution block. Our results show that FocusNetAlpha achieves state-of-the-art results across all metrics for the ISIC 2018 melanoma segmentation, cell nuclei segmentation and the DRIVE retinal blood vessel segmentation datasets with fewer parameters and FLOPs. Our code and pre-trained models will be publicly available on GitHub to maximize reproducibility.

연구 동기 및 목표

• 더 효과적인 컨볼루션 커널 설계를 통해 의료 영상 분할에서의 특징 추출을 향상시키기 위해.
• 복잡한 해부학적 구조를 포착하는 데에 한계가 있는 표준 잔차 블록과 그룹 컨볼루션 아키텍처의 문제점을 해결하기 위해.
• 그룹 컨볼루션과 통합된 새로운 주의 메커니즘을 통해 분할 정확도를 향상시키기 위해.
• 균형 잔차 교차 엔트로피, Tversky 손실, 적응형 로그 손실을 조합한 하이브리드 손실 함수를 사용하여 수렴 속도를 가속화하고 최적화 안정성을 향상시키기 위해.
• 파라미터 수와 FLOPs 측면에서 모델 복잡도를 감소시키면서도 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 잔차 학습, 그룹 컨볼루션, 그리고 새로운 주의 메커니즘을 통합한 새로운 잔차 블록을 제안한다.
• 채널과 공간 위치에 걸쳐 관련 특징 그룹을 집중적으로 학습하는 그룹 주의 메커니즘을 도입한다.
• 균형 잔차 교차 엔트로피, Tversky 손실, 적응형 로그 손실을 조합한 하이브리드 손실 함수를 사용하여 학습 동역학을 향상시킨다.
• 제안된 잔차 블록으로 구성된 U-Net 유사 자동에코 아키텍처인 FocusNetAlpha를 설계한다.
• 채널별 및 공간별 주의를 활용하여 분할 작업에 대한 관련성이 높은 특징 맵을 동적으로 재가중한다.
• 클래스 불균형에 더 강건하고 최적의 해답으로 더 빠르게 수렴하도록 손실 함수를 최적화한다.

실험 결과

연구 질문

• RQ1 그룹 컨볼루션과 주의 메커니즘을 통합한 새로운 잔차 블록이 의료 영상 분할의 정확도 향상에 기여할 수 있는가?
• RQ2 제안된 그룹 주의 메커니즘이 표준 잔차 블록과 ResNeXt 블록에 비해 특징 표현력과 분할 성능 측면에서 어떻게 비교되는가?
• RQ3 하이브리드 손실 함수가 의료 영상 분할에서 수렴 속도를 가속화하고 최적화 안정성을 향상시키는 데에 어느 정도 기여하는가?
• RQ4 기존 모델들과 비교해 더 적은 파라미터 수와 FLOPs로 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 그룹 컨볼루션 내부에 주의를 통합함으로써 다양한 의료 영상 작업에 대해 더 우수한 일반화 성능을 달성할 수 있는가?

주요 결과

• FocusNetAlpha는 ISIC 2017 데이터셋에서 기본 잔차 블록 대비 교차 오버랩 지수(IoU)를 5.6% 향상시켰다.
• FocusNetAlpha는 ISIC 2017 데이터셋에서 ResNeXt 그룹 컨볼루션 블록 대비 IoU를 1.3% 향상시켰다.
• FocusNetAlpha는 ISIC 2018 멜라노마 분할, 세포 핵 분할, DRIVE 망막 혈관 분할 데이터셋에서 모든 지표에서 최신 기술 수준의 성능을 달성했다.
• 기본 아키텍처 대비 더 적은 파라미터 수와 낮은 FLOPs로도 뛰어난 성능을 달성했다.
• 하이브리드 손실 함수는 학습 도중 최적의 해답으로 더 빠르고 정확하게 수렴하도록 해주었다.
• 제안된 방법은 피부 병변, 세포 핵, 망막 혈관 분할을 포함한 다양한 의료 영상 작업에 대해 강력한 일반화 성능을 보였다.