[논문 리뷰] Bridging 2D and 3D Segmentation Networks for Computation Efficient Volumetric Medical Image Segmentation: An Empirical Study of 2.5D Solutions

Yichi Zhang, Qingcheng Liao외 2명|arXiv (Cornell University)|2020. 10. 13.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 2.5D 의료 영상 분할 방법에 대한 종합적인 실증 연구를 제안하며, 2D 및 3D 컨volution 뉴럴 네트워크(CNN)를 연결하여 계산 효율적인 부피 분할을 달성한다. CT 및 MRI 데이터셋에서 세 가지 유형—다중 시점 융합, 인접 슬라이스 특징 통합, 2D/3D 특징 융합—을 평가함으로써, 2.5D 방법이 3D CNN 성능을 근사하거나 초월할 수 있으며, 특히 3D CNN이 성능을 낮추는 이방향 부피 자료에서 계산량과 파라미터 수를 크게 줄일 수 있음을 입증한다.

ABSTRACT

Recently, deep convolutional neural networks have achieved great success for medical image segmentation. However, unlike segmentation of natural images, most medical images such as MRI and CT are volumetric data. In order to make full use of volumetric information, 3D CNNs are widely used. However, 3D CNNs suffer from higher inference time and computation cost, which hinders their further clinical applications. Additionally, with the increased number of parameters, the risk of overfitting is higher, especially for medical images where data and annotations are expensive to acquire. To issue this problem, many 2.5D segmentation methods have been proposed to make use of volumetric spatial information with less computation cost. Despite these works lead to improvements on a variety of segmentation tasks, to the best of our knowledge, there has not previously been a large-scale empirical comparison of these methods. In this paper, we aim to present a review of the latest developments of 2.5D methods for volumetric medical image segmentation. Additionally, to compare the performance and effectiveness of these methods, we provide an empirical study of these methods on three representative segmentation tasks involving different modalities and targets. Our experimental results highlight that 3D CNNs may not always be the best choice. Despite all these 2.5D methods can bring performance gains to 2D baseline, not all the methods hold the benefits on different datasets. We hope the results and conclusions of our study will prove useful for the community on exploring and developing efficient volumetric medical image segmentation methods.

연구 동기 및 목표

• 부피 의료 영상 분할에서 3D CNN의 높은 계산 비용과 과적합 위험을 해결하기 위해.
• 다양한 의료 영상 모odalities와 해부학적 대상에서 다양한 2.5D 방법의 성능을 평가하고 비교하기 위해.
• 데이터셋과 작업 간 체계적인 비교가 부족한 점을 메우기 위해 2.5D 방법에 대한 대규모 실증 벤치마크를 제공하기 위해.
• 데이터셋 특성과 계산 제약 조건에 기반해 연구자들이 최적의 2.5D 아키텍처를 선택할 수 있도록 안내하기 위해.

제안 방법

• 2.5D 방법을 세 가지 유형으로 분류: 다중 시점 융합, RNN 또는 주의 메커니즘을 통한 인접 슬라이스 정보 통합, 인코딩 또는 출력 단계에서 2D 및 3D 특징 융합.
• 모든 방법 간 일관된 비교를 위해 2D 및 3D U-Net을 백본 네트워크로 사용.
• 다중 시점 융합을 위해 축면, 사선면, 골반면 시점에서 별도의 2D 네트워크를 훈련하고 예측을 통합.
• 슬라이스 간 공간적 의존성을 모델링하기 위해 1D 또는 3D RNN과 압축-해방(SE) 블록을 사용하여 인접 슬라이스 컨텍스트를 통합.
• 2D 및 3D 인코더 또는 최종 출력에서의 특징을 연결하거나 원소별로 더하여 2D 및 3D 특징 융합.
• 모든 모델 간 공정한 비교를 위해 동일한 초모델 설정, 데이터 증강 및 훈련 프로토콜을 적용.

실험 결과

연구 질문

• RQ1 2.5D 분할 방법이 다양한 의료 영상 작업에서 2D 및 3D 기준선을 일관되게 능가하는가?
• RQ2 성능, 추론 속도, 모델 복잡도 간 최적의 트레이드오프를 제공하는 2.5D 방법 아키텍처는 무엇인가?
• RQ3 3D CNN이 덜 효과적인 이방향 부피 자료에서 2.5D 방법은 어떻게 성능을 내는가?
• RQ4 특징 융합 위치(인코딩 대비 출력)가 분할 정확도와 훈련 효율성에 미치는 상대적 영향은 무엇인가?
• RQ5 2.5D 방법이 파라미터 수와 훈련 시간을 줄이며 3D CNN 성능에 근사하거나 이를 초월할 수 있는가?

주요 결과

• 모든 2.5D 방법이 2D U-Net 기준선을 향상시켰으며, 다중 시점 융합은 3D U-Net 수준의 성능을 달성했지만, 세 개의 별도 네트워크 훈련이 필요했다.
• 심장 MRI에서는 출력 단계에서 특징 융합이 인코딩 단계 융합보다 성능이 뛰어났고, 비장 CT 및 전립선 MRI에서는 특정 융합 방법이 모든 작업에서 우세하지 않았다.
• RNN 및 주의 기반 인접 슬라이스 통합은 단순 다중 슬라이스 입력보다 성능 향상을 이뤘지만, 성능 향상 정도는 데이터셋 간에 다양했고, 항상 유의미하게 뛰어나지 않았다.
• 인코딩 단계에서 2D 및 3D 특징을 융합하는 것은 더 낮은 계산 비용으로 더 높은 정확도를 제공했고, 출력 단계 융합은 3D 네트워크 훈련을 가속화했지만 추론 시간을 증가시켰다.
• 모든 2.5D 방법은 3D U-Net보다 훨씬 적은 파라미터와 더 빠른 훈련 시간을 보였으며, 예를 들어 2D U-Net은 0.487M 파라미터를 가졌고 3D U-Net은 1.403M이었다. 훈련 시간은 2D 기준선의 1.00x에서 2.32x 수준으로 감소했다.
• 이방향 부피 자료(예: 낮은 슬라이스 해상도를 가진 CT)에서는 3D CNN이 2.5D 방법보다 성능이 떨어지는 경우가 많았으며, 이는 3D 모델이 항상 최적은 아님을 시사한다.