[논문 리뷰] Thickened 2D Networks for 3D Medical Image Segmentation.

Qihang Yu, Yingda Xia외 3명|arXiv (Cornell University)|2019. 04. 02.

Medical Image Segmentation Techniques인용 수 4

한 줄 요약

이 논문은 2D 컨볼루션 네트워크에 다수의 인접한 CT 슬라이스를 다중 채널 입력으로 제공하여 3D 공간적 맥락 정보를 통합함으로써 3D 의료 영상 분할 성능을 향상시키는 두꺼운 2D 네트워크를 제안한다. 초기 단계의 멀티플렉싱과 슬라이스 민감도 어텐션을 활용함으로써, 복잡한 복부 기관과 혈관—특히 복잡한 3D 구조를 가진 것들—에서 뛰어난 성능을 달성하면서도 낮은 추론 지연을 유지하며, 표준 2D 및 경쟁 가능한 3D 접근 방식을 능가한다.

ABSTRACT

There has been a debate in 3D medical image segmentation on whether to use 2D or 3D networks, where both pipelines have advantages and disadvantages. 2D methods enjoy a low inference time and greater transfer-ability while 3D methods are superior in performance for hard targets requiring contextual information. This paper investigates efficient 3D segmentation from another perspective, which uses 2D networks to mimic 3D segmentation. To compensate the lack of contextual information in 2D manner, we propose to thicken the 2D network inputs by feeding multiple slices as multiple channels into 2D networks and thus 3D contextual information is incorporated. We also put forward to use early-stage multiplexing and slice sensitive attention to solve the confusion problem of information loss which occurs when 2D networks face inputs. With this design, we achieve a higher performance while maintaining a lower inference latency on a few abdominal organs from CT scans, in particular when the organ has a peculiar 3D shape and thus strongly requires contextual information, demonstrating our method's effectiveness and ability in capturing 3D information. We also point out that thickened 2D inputs pave a new method of 3D segmentation, and look forward to more efforts in this direction. Experiments on segmenting a few abdominal targets in particular blood vessels which require strong 3D contexts demonstrate the advantages of our approach.

연구 동기 및 목표

• 3D 의료 영상 분할에서 추론 속도와 맥락 모델링 간의 상충 관계를 해결하기 위해.
• 완전한 3D 네트워크의 계산 비용 없이 2D 네트워크가 3D 공간 맥락을 포착할 수 있도록 하기 위해.
• 개선된 입력 표현과 어텐션 메커니즘을 통해 부피 데이터의 2D 처리 중 정보 손실을 줄이기 위해.
• 다양한 슬라이스 입력 스택이 복잡한 3D 형태를 가진 기관에 대해 3D 네트워크의 효과적인 대안이 될 수 있음을 입증하기 위해.
• 수정된 2D 아키텍처를 활용한 효율적인 3D 분할의 새로운 패러다임을 수립하기 위해.

제안 방법

• 표준 2D 컨볼루션 네트워크에 다수의 인접한 CT 슬라이스를 다중 채널 입력으로 제공하여 3D 수용 영역을 시뮬레이션하기 위해.
• 다양한 슬라이스의 특징을 네트워크의 초기 단계에서 통합하여 더 나은 특징 융합을 위한 초기 단계 멀티플렉싱 적용하기 위해.
• 다양한 슬라이스에서 유도된 특징을 동적으로 가중하기 위해 슬라이스 민감도 어텐션 도입하기 위해.
• 2D 추론 효율성을 유지하면서도 3D 맥락 이해 능력을 향상시키기 위해 네트워크 아키텍처 설계하기 위해.
• 3D 컨볼루션을 사용하지 않고도 깊이 관계를 암묵적으로 모델링하기 위해 다중 슬라이스 입력 전략 사용하기 위해.
• 특히 맥락 모델링이 핵심적인 복잡한 3D 형태를 가진 복부 기관과 혈관에 최적화된 네트워크 설계하기 위해.

실험 결과

연구 질문

• RQ1 2D 네트워크가 다중 슬라이스 입력 스택을 통해 의료 영상 분할에서 효과적으로 3D 맥락 정보를 포착할 수 있는가?
• RQ2 2D 네트워크가 부피 데이터를 처리할 때 초기 단계 멀티플렉싱이 특징 학습에 어떻게 기여하는가?
• RQ3 슬라이스 민감도 어텐션은 3D 부피의 2D 처리 중 정보 손실를 어느 정도 감소시키는가?
• RQ4 두꺼운 2D 접근 방식은 낮은 추론 지연을 유지하면서도 3D 네트워크와 경쟁 가능한 성능을 달성하는가?
• RQ5 이 방법은 복잡한 3D 맥락이 필요한 도파민성 혈관과 같은 도전적인 복부 구조로 일반화 가능한가?

주요 결과

• 두꺼운 2D 네트워크는 복잡한 3D 형태를 가진 복부 기관에서 표준 2D 네트워크보다 높은 분할 성능을 달성한다.
• 3D 맥락을 통합함에도 불구하고, 낮은 추론 지연을 유지하며 표준 2D 네트워크 수준과 유사한 성능을 기록한다.
• 특히 복잡한 3D 구조를 가진 혈관과 같은 특정 도전 과제에 대해 베이스라인 3D 네트워크를 능가하는 성능을 보인다.
• 초기 단계 멀티플렉싱 및 슬라이스 민감도 어텐션은 3D 데이터의 2D 처리 중 정보 손실를 크게 감소시키고 특징 표현을 향상시킨다.
• 두꺼운 2D 입력 전략은 3D 수용 영역을 효과적으로 모방하여 2D 네트워크가 장거리 공간 의존성을 포착할 수 있도록 한다.
• 결과적으로 다중 슬라이스 입력 스택이 3D 의료 영상 분할에서 전체 3D 네트워크의 실용적이고 효율적인 대안이 될 수 있음을 입증한다.