[논문 리뷰] Thickened 2D Networks for Efficient 3D Medical Image Segmentation

Qihang Yu, Yingda Xia외 3명|arXiv (Cornell University)|2019. 04. 02.

Advanced Neural Network Applications참고 문헌 44인용 수 28

한 줄 요약

이 논문은 3D 구조적 정보를 포착하기 위해 다중 슬라이스 입력을 사용하는 두꺼운 2D 네트워크(T2D)를 제안한다. 이는 정보 손실을 줄이기 위해 초기 단계에서 다중화 및 슬라이스 민감한 어텐션을 적용한다. 이 방법은 3D 네트워크보다 낮은 추론 지연 시간을 유지하면서 복잡한 복부 혈관 분할에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

There has been a debate in 3D medical image segmentation on whether to use 2D or 3D networks, where both pipelines have advantages and disadvantages. 2D methods enjoy a low inference time and greater transfer-ability while 3D methods are superior in performance for hard targets requiring contextual information. This paper investigates efficient 3D segmentation from another perspective, which uses 2D networks to mimic 3D segmentation. To compensate the lack of contextual information in 2D manner, we propose to thicken the 2D network inputs by feeding multiple slices as multiple channels into 2D networks and thus 3D contextual information is incorporated. We also put forward to use early-stage multiplexing and slice sensitive attention to solve the confusion problem of information loss which occurs when 2D networks face thickened inputs. With this design, we achieve a higher performance while maintaining a lower inference latency on a few abdominal organs from CT scans, in particular when the organ has a peculiar 3D shape and thus strongly requires contextual information, demonstrating our method's effectiveness and ability in capturing 3D information. We also point out that "thickened" 2D inputs pave a new method of 3D segmentation, and look forward to more efforts in this direction. Experiments on segmenting a few abdominal targets in particular blood vessels which require strong 3D contexts demonstrate the advantages of our approach.

연구 동기 및 목표

• 2D 및 3D 네트워크 간의 상충 관계를 해결하기 위해, 2D 방법은 빠르지만 3D 맥락이 부족하고, 3D 방법은 정확도는 높지만 느리다는 점을 고려한다.
• 정보 손실 없이 2D 네트워크가 두꺼운 입력 슬라이스를 통해 3D 맥락 정보를 효과적으로 포착할 수 있도록 하기 위해.
• 기본 2D 네트워크에서 다중 슬라이스 입력을 조기에 융합할 경우 발생하는 성능 저하 문제를 해결하기 위해.
• 복잡한 3D 구조(예: 혈관)에서 높은 추론 속도를 유지하면서도 정확도를 향상시키는 경량이고 효율적이며 정확한 분할 프레임워크를 설계하기 위해.
• 어려운 해부학적 대상에 대해 두꺼운 2D 네트워크가 표준 2D 및 3D 네트워크를 초월하는 분할 정확도를 달성할 수 있음을 입증하기 위해.

제안 방법

• 2D 기반 네트워크가 훈련 및 추론 중 모두 3D 맥락을 인지할 수 있도록, 연속된 다수의 슬라이스를 입력 채널로 겹쳐서 두꺼운 2D 입력을 사용한다.
• 초기 단계 다중화(ESM)는 기반 네트워크의 첫 부분을 미니 그룹의 슬라이스별로 별도로 적용한 후 후속 레이어에서 특징을 융합함으로써 특징 융합을 지연시킨다.
• 사전 융합 단계와 결정 단계 사이에 슬라이스 민감한 어텐션-SSA를 도입하여 슬라이스별 특징에 주목함으로써 분류 능력을 향상시킨다.
• 표준 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련하고, 복부 CT 스캔에서 DSC(Dice Score)를 사용해 평가한다.
• 추론은 단일 축을 따라 2D 네트워크를 슬라이딩하여 수행되며, 3D 슬라이딩 윈도우 없이 효율적인 3D 예측을 생성한다.
• 이 방법은 사적 복부 기관 데이터셋과 공개된 의료 분할 디카테론(Medical Segmentation Decathlon, MSD)을 대상으로 평가된다.

실험 결과

연구 질문

• RQ1 2D 네트워크가 입력 채널로 다수의 스택된 슬라이스를 처리함으로써 효과적으로 3D 맥락 정보를 학습할 수 있는가?
• RQ2 2D 네트워크에서 스택된 슬라이스 수를 늘릴 경우 성능 저하가 발생하는 원인은 무엇인가?
• RQ3 초기 단계 다중화 및 슬라이스 민감한 어텐션은 두꺼운 2D 입력에서의 정보 손실을 완화시킬 수 있는가?
• RQ4 제안된 방법은 2D 및 3D 기준 모델보다 높은 분할 정확도를 달성하면서도 저지연을 유지하는가?
• RQ5 입력의 슬라이스 두께가 증가함에 따라 성능은 어떻게 변화하는가?

주요 결과

• 초기 단계 다중화 및 슬라이스 민감한 어텐션을 적용한 T2D 방법은 15슬라이스 입력에서 상부 모주동맥에 대해 74.55%의 DSC를 달성하여 기준 2D 및 3D 모델보다 뛰어난 성능을 보였다.
• 슬라이스 두께가 15까지 증가함에 따라 성능이 향상되었고, 상부 모주동맥에서 최고로 74.55%에 도달했으나, 18슬라이스를 초과하면 훈련의 불안정성으로 인해 성능이 저하되었다.
• 축 방향 모델은 6슬라이스에서 9슬라이스로 증가할 때 2.17% 향상되었으며, 이는 특징 학습에서 핵심적인 제약 요소임을 시사한다.
• MSD 데이터셋에서 간 혈관 분할 작업에 대해, 제안된 방법은 기준 DeepLab 및 기타 3D 모델보다 뛰어난 DSC를 달성했다.
• 3D 시각화 결과, 이 방법이 혈관의 연속성을 더 잘 유지하고 복잡한 구조(예: 분지점, 협착부)를 정확하게 예측함을 확인했다.
• 3D 슬라이딩 윈도우 방법 대비 추론 지연을 줄였으며, 분할 정확도는 유지하거나 향상시켰다.