[논문 리뷰] DeformUX-Net: Exploring a 3D Foundation Backbone for Medical Image Segmentation with Depthwise Deformable Convolution
DeformUX-Net는 깊이 분할 가변 컨볼루션을 사용하여 장거리 의존성, 적응형 공간 집합, 계산 효율성을 통합하는 3D 의료 영상 분할을 위한 기초 백본을 제안한다. 병렬 MLP 브랜치를 통한 삼면(offset) 오프셋 학습과 구조적 재패러미터라이제이션 기반 설계를 통합함으로써, SOTA 트랜스포머보다 파rameter 수가 적은데도 네 가지 공개 데이터셋에서 최고 성능을 기록한다.
The application of 3D ViTs to medical image segmentation has seen remarkable strides, somewhat overshadowing the budding advancements in Convolutional Neural Network (CNN)-based models. Large kernel depthwise convolution has emerged as a promising technique, showcasing capabilities akin to hierarchical transformers and facilitating an expansive effective receptive field (ERF) vital for dense predictions. Despite this, existing core operators, ranging from global-local attention to large kernel convolution, exhibit inherent trade-offs and limitations (e.g., global-local range trade-off, aggregating attentional features). We hypothesize that deformable convolution can be an exploratory alternative to combine all advantages from the previous operators, providing long-range dependency, adaptive spatial aggregation and computational efficiency as a foundation backbone. In this work, we introduce 3D DeformUX-Net, a pioneering volumetric CNN model that adeptly navigates the shortcomings traditionally associated with ViTs and large kernel convolution. Specifically, we revisit volumetric deformable convolution in depth-wise setting to adapt long-range dependency with computational efficiency. Inspired by the concepts of structural re-parameterization for convolution kernel weights, we further generate the deformable tri-planar offsets by adapting a parallel branch (starting from $1 imes1 imes1$ convolution), providing adaptive spatial aggregation across all channels. Our empirical evaluations reveal that the 3D DeformUX-Net consistently outperforms existing state-of-the-art ViTs and large kernel convolution models across four challenging public datasets, spanning various scales from organs (KiTS: 0.680 to 0.720, MSD Pancreas: 0.676 to 0.717, AMOS: 0.871 to 0.902) to vessels (e.g., MSD hepatic vessels: 0.635 to 0.671) in mean Dice.
연구 동기 및 목표
- 3D 의료 영상 분할에서 전역-국소 주의력과 큰 커널 컨볼루션 간의 상충 관계를 해결하기 위해.
- 자기 주의 메커니즘에 의존하지 않고도 장거리 의존성을 포착할 수 있는 계산 효율적이고 적응형 백본을 개발하기 위해.
- 체적 분할을 위한 기초 연산자로서 3D 깊이 분할 가변 컨볼루션의 가능성을 탐색하기 위해.
- 학습 가능한 채널 인식 오프셋을 사용하여 특징 채널 간의 적응형 공간 집합을 향상시키기 위해.
- SOTA ViT보다 성능과 파rameter 효율성에서 뛰어난 새로운 CNN 기반 기초 모델을 수립하기 위해.
제안 방법
- 기본 수신장역할을 확장하기 위해 인코더 블록에서 깊이 분할 가변 컨볼루션을 사용하는 U-Net 유사 아키텍처인 3D DeformUX-Net을 도입한다.
- 모든 채널을 통해 적응형 공간 집합을 가능하게 하기 위해 1×1×1 컨볼루션을 사용하는 병렬 브랜치를 활용해 삼면 가변 오프셋을 생성한다.
- 구조적 재패러미터라이제이션 원리를 적용하여 MLP를 통해 가변 오프셋을 계산함으로써 특징 표현과 모델 효율성을 향상시킨다.
- 성능 향상을 위해 MLP를 사용한 선형 스케일링을 적용하여 깊이 스케일링보다 우수한 공간 특징 집합 성능을 달성한다.
- 다양한 방향의 공간 의존성을 포착하기 위해 삼면 오프셋 계산을 적용하였으며, 해부학적 구조에 따라 성능이 달라진다.
- 직접 SOTA 방법과의 비교를 위해 네 가지 공개 3D 의료 영상 데이터셋에서 지도 학습 방식으로 엔드 투 엔드로 모델을 훈련시킨다.
실험 결과
연구 질문
- RQ13D 깊이 분할 가변 컨볼루션은 3D 의료 분할에서 전역-국소 자기 주의력과 큰 커널 컨볼루션을 효과적으로 대체할 수 있는가?
- RQ2삼면 오프셋 계산은 간, 혈관과 같은 다양한 해부학적 구조에서 성능에 어떤 영향을 미치는가?
- RQ3학습 가능한 병렬 브랜치 설계를 통한 오프셋 생성은 파rameter를 줄이며 적응형 공간 집합을 향상시킬 수 있는가?
- RQ4MLP 기반 오프셋 계산은 고정 커널 또는 표준 가변 컨볼루션보다 체적 분할에서 성능이 뛰어나지 않는가?
- RQ5가변 연산을 갖춘 CNN 기반 백본은 파rameter 수가 적은데도 ViT 수준의 SOTA 성능을 달성할 수 있는가?
주요 결과
- KiTS 데이터셋에서 DeformUX-Net은 신장, 종양, 낭종에 대해 평균 Dice 점수 0.720을 기록하여 기존 SOTA 모델을 능가한다.
- MSD 췌장 데이터셋에서 평균 Dice 점수 0.717을 기록하여 장기 분할 작업에서 뛰어난 성능을 보였다.
- AMOS에서 다기관 분할 작업에서는 평균 Dice 점수 0.902를 기록하여 SOTA ViT와 CNN을 모두 초월했다.
- 간 혈관 분할에서는 평균 Dice 점수 0.671을 기록하여 작은 복잡한 구조에서의 강건성을 입증했다.
- MLP 기반 삼면 오프셋 사용은 모든 데이터셋에서 일관되게 성능 향상을 이끌었으며, 특히 혈관 분할에서는 x-z 평면이 가장 효과적인 것으로 나타났다.
- 트랜스포머 기반 모델보다 파rameter 수가 적은데도 SOTA 성능을 달성하여 계산 효율성과 확장성의 타당성을 입증했다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.