[논문 리뷰] Redefining the Down-Sampling Scheme of U-Net for Precision Biomedical Image Segmentation

Mingjie Li, Yizheng Chen외 2명|arXiv (Cornell University)|2026. 02. 23.

Advanced Neural Network Applications인용 수 0

한 줄 요약

본 논문은 Stair Pooling을 도입하여 U-Net의 다운샘플링 전략을 개선하고, 연속된 작고 좁은 풀링 연산으로 정보를 보존하여 BIS 벤치마크에서 약 3.8% Dice 상승과 경로를 감소시키는 TE 기반 경로 최적화를 달성한다.

ABSTRACT

U-Net architectures have been instrumental in advancing biomedical image segmentation (BIS) but often struggle with capturing long-range information. One reason is the conventional down-sampling techniques that prioritize computational efficiency at the expense of information retention. This paper introduces a simple but effective strategy, we call it Stair Pooling, which moderates the pace of down-sampling and reduces information loss by leveraging a sequence of concatenated small and narrow pooling operations in varied orientations. Specifically, our method modifies the reduction in dimensionality within each 2D pooling step from $\frac{1}{4}$ to $\frac{1}{2}$. This approach can also be adapted for 3D pooling to preserve even more information. Such preservation aids the U-Net in more effectively reconstructing spatial details during the up-sampling phase, thereby enhancing its ability to capture long-range information and improving segmentation accuracy. Extensive experiments on three BIS benchmarks demonstrate that the proposed Stair Pooling can increase both 2D and 3D U-Net performance by an average of 3.8\% in Dice scores. Moreover, we leverage the transfer entropy to select the optimal down-sampling paths and quantitatively show how the proposed Stair Pooling reduces the information loss.

연구 동기 및 목표

• Long-range 정보를 포착하기 위한 Heavy한 어텐션 기반 모델 없이 U-Net의 개선을 모티브로 제시한다.
• 다운샘플링을 느리게 하여 중요한 특징을 보존하기 위해 Stair Pooling을 제안한다.
• 체적 BIS 작업을 위한 3D 풀링으로 Stair Pooling을 확장한다.
• 최적의 다운샘플링 경로를 선택하기 위해 전이 엔트로피를 도입한다.
• 2D 및 3D BIS 벤치마크에서 성능 향상을 입증한다.

제안 방법

• 단일 2x2 풀링을 일련의 연결된 1x2 및 2x1 풀링 연산으로 대체한다.
• 각 풀링 뒤에 합성곱과 ReLU를 적용하여 경로 간 선형 상관관계를 깨뜨린다.
• 모든 풀링 경로의 특징을 융합하여 최종 다운샘플 표현을 형성한다.
• 2D 다운샘플링 차원을 단계당 1/4에서 1/2로 축소하고 이를 3D 풀링으로 확장한다.
• 특성 맵의 엔트로피(가우시안 근사)와 전이 엔트로피 TE를 계산하여 최적의 다운샘플링 경로를 선택한다.
• 2D에서 최적의 다운샘플링 경로를 exhaustive search로 찾고 TE-guided 경로 가지치기를 논의한다.

Figure 1 : The overview of our proposed Stair Pooling. It splits the original max pooling layer into a series of concatenated small and narrow pooling kernels. To break the linear relationship, each pooling operation is followed by a convolutional layer and a ReLU activation.

실험 결과

연구 질문

• RQ1 Stair Pooling이 다운샘플링 중 긴 거리 정보를 보존함으로써 BIS에서 U-Net 성능을 향상시킬 수 있는가?
• RQ2 TE 기반 경로 선택이 모델 효율성과 분할 정확도에 어떤 영향을 미치는가?
• RQ3 Stair Pooling이 3D BIS 작업에 효과적으로 확장되며 어떤 trade-offs가 있는가?
• RQ4 2D 대 3D BIS 데이터셋에서 선호되는 다운샘플링 경로는 무엇인가?
• RQ5 Stair Pooling을 사용할 때 표준 BIS 벤치마크에서의 전반적인 Dice 이득은 얼마인가?

주요 결과

• Stair Pooling은 BIS 벤치마크에서 평균 Dice 점수를 3.8% 증가시킨다.
• TE 선택 변형은 더 높은 전반 Dice를 달성하고 여러 장기별 지표를 개선한다.
• Stair Pooling은 2D BIS 작업에서 Haar 웨이브렛, 피라미드 풀링과 같은 다른 풀링 전략보다 우수하다.
• TE 기반 경로 최적화는 Synapse의 예시에서 모델 크기를 줄이면서 성능을 유지하거나 증가시킬 수 있다.
• 3D Stair Pooling은 체적 BIS에서 강한 3D 분할 결과를 달성하는 확장으로 KiTS23에서 입증된다.
• 최적 다운샘플링 경로는 2D 데이터셋에서 수평 우선 풀링을 선호하는 반면 3D KiT23 데이터셋은 초기 z축 풀링을 선호한다.

Figure 2 : Qualitative comparison of different approaches on the Synapse dataset. From left to right: Ground Truth, U-Net, SwinUnet, UNet with HWT pooling, our SP UNet and the TE selected variant.