[논문 리뷰] T-Mamba: A unified framework with Long-Range Dependency in dual-domain for 2D & 3D Tooth Segmentation

Jing Hao, Zhu, Yonghui외 4명|arXiv (Cornell University)|2024. 04. 01.

Dental Radiography and Imaging인용 수 8

한 줄 요약

T-Mamba는 Tooth Vision Mamba (Tim) 블록을 DenseVNet과 통합하여 Tooth CBCT 분할에서 글로벌 및 로컬 맥락을 모델링하고, 공개 Tooth CBCT 데이터에서 최첨단 결과를 달성합니다.

ABSTRACT

Tooth segmentation is a pivotal step in modern digital dentistry, essential for applications across orthodontic diagnosis and treatment planning. Despite its importance, this process is fraught with challenges due to the high noise and low contrast inherent in 2D and 3D tooth data. Both Convolutional Neural Networks (CNNs) and Transformers has shown promise in medical image segmentation, yet each method has limitations in handling long-range dependencies and computational complexity. To address this issue, this paper introduces T-Mamba, integrating frequency-based features and shared bi-positional encoding into vision mamba to address limitations in efficient global feature modeling. Besides, we design a gate selection unit to integrate two features in spatial domain and one feature in frequency domain adaptively. T-Mamba is the first work to introduce frequency-based features into vision mamba, and its flexibility allows it to process both 2D and 3D tooth data without the need for separate modules. Also, the TED3, a large-scale public tooth 2D dental X-ray dataset, has been presented in this paper. Extensive experiments demonstrate that T-Mamba achieves new SOTA results on a public tooth CBCT dataset and outperforms previous SOTA methods on TED3 dataset. The code and models are publicly available at: https://github.com/isbrycee/T-Mamba.

연구 동기 및 목표

• 노이즈와 인공물 아래에서 3D CBCT에서 정확한 치아 분할을 촉진한다.
• 공간 위치를 보존하면서 장거리 의존성을 모델링하는 프레임워크를 개발한다.
• 의료 영상에서 강 robust feature 표현을 강화하기 위해 주파수 도메인 특징을 통합한다.
• 공간 특징과 주파수 특징을 적응적으로 결합하기 위한 게이트 기반 융합 메커니즘을 제안한다.

제안 방법

• Tim 블록을 사용하여 2D/3D 특징을 1-D 시퀀스로 처리하도록 Vision Mamba를 확장한다.
• reshape 간 공간 정보를 보존하기 위해 공유 듀얼 포지셔널 인코딩을 사용한다.
• 푸리에 도메인에서 밴드패스 필터링을 통해 주파수 도메인 특징을 통합한다.
• Forward, backward 공간 특징과 주파수 특징을 적응적으로 융합하기 위한 Gate Selection Unit을 도입한다.
• DenseVNet의 각 CNN 층 뒤에 Tim 블록을 통합하여 다중 스케일 특징 모델링을 수행한다.

실험 결과

연구 질문

• RQ1 장거리 의존성을 효율적으로 모델링하여 2D/3D 치아 CBCT 분할에서 과도한 계산 없이 구현할 수 있는 방법은 무엇인가?
• RQ2 주파수 도메인 특징을 추가하면 CBCT 이미지의 노이즈 및 인공물에 대한 강건성이 향상되는가?
• RQ3 데이터 의존적 게이트 메커니즘이 공간 특징과 주파수 특징을 정확한 치아 분할을 위해 견고하게 융합할 수 있는가?

주요 결과

• T-Mamba는 공개된 tooth CBCT 데이터 세트에서 다중 지표에 걸쳐 최신 결과를 달성했다.
• IoU는 이전 SOTA 대비 3.63 포인트 증가, SO는 2.43 포인트 증가, DSC는 2.30 포인트 증가했다.
• Hausdorff Distance (HD)는 4.39 mm 감소했고 ASSD는 0.37 mm 감소했다.
• 어플리에이션 제거로 공유 듀얼 포지셔널 인코딩과 Gate Selection Unit이 성능에 상당한 기여를 하는 것으로 나타났다.
• 주파수 특징이 포함된 Tim 블록은 핵심 지표에서 baseline DenseVNet 및 Vim 변형을 능가했다.