[논문 리뷰] FusionU-Net: U-Net with Enhanced Skip Connection for Pathology Image Segmentation

Zongyi Li, Hongbing Lyu외 1명|arXiv (Cornell University)|2023. 10. 17.

AI in cancer detection인용 수 5

한 줄 요약

FusionU-Net는 인코더와 디코더 특징 간의 의미적 갭을 줄이기 위해 스킵 커넥션에 이중 라운드 특징 융합 모듈을 적용한 개선된 U-Net 아키텍처를 제안한다. 재구성된 특징 맵과 그룹 컨볼루션을 사용해 내림내림 및 올라감 방향으로 인접한 인코더 레이어 출력을 융합함으로써 국소적 공간 관련성을 유지하고, 더 적은 파rameter로 다양한 병리학적 세분화 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In recent years, U-Net and its variants have been widely used in pathology image segmentation tasks. One of the key designs of U-Net is the use of skip connections between the encoder and decoder, which helps to recover detailed information after upsampling. While most variations of U-Net adopt the original skip connection design, there is semantic gap between the encoder and decoder that can negatively impact model performance. Therefore, it is important to reduce this semantic gap before conducting skip connection. To address this issue, we propose a new segmentation network called FusionU-Net, which is based on U-Net structure and incorporates a fusion module to exchange information between different skip connections to reduce semantic gaps. Unlike the other fusion modules in existing networks, ours is based on a two-round fusion design that fully considers the local relevance between adjacent encoder layer outputs and the need for bi-directional information exchange across multiple layers. We conducted extensive experiments on multiple pathology image datasets to evaluate our model and found that FusionU-Net achieves better performance compared to other competing methods. We argue our fusion module is more effective than the designs of existing networks, and it could be easily embedded into other networks to further enhance the model performance.

연구 동기 및 목표

• U-Net에서 인코더와 디코더 특징 간의 의미적 갭을 해결함으로써 세분화 성능 저하 문제를 해결한다.
• 인접한 인코더 레이어 간의 국소적 관련성을 활용해 스킵 커넥션을 통한 특징 융합을 향상시킨다.
• 다중 레이어 간 이중 방향 정보 교환을 가능하게 하는 더 효과적인 융합 메커니즘을 설계한다.
• 업샘플링/다운샘플링 과정에서 공간 인접성을 유지하여 병리학적 영상의 정보 손실를 줄인다.
• 다양한 세분화 네트워크에서 성능을 향상시킬 수 있는 경량이며 임베디드 가능한 모듈을 만든다.

제안 방법

• 두 번의 융합 설계를 도입: 먼저 浅층에서 깊은 인코더 레이어로의 융합을 수행하고, 이후 반대로 진행하여 이중 방향 정보 흐름을 가능하게 한다.
• 특징 맵 변환 과정에서 국소적 특징 인접성을 유지하기 위해 새로운 재구성 및 그룹 컨볼루션 방법을 적용한다.
• 스킵 커넥션 이전에 인접한 인코더 레이어 출력 간의 특징 융합을 수행하기 위해 DownFuse 및 UpFuse 블록을 사용한다.
• 복잡한 아키텍처보다 융합 모듈의 효과성에 중점을 두어 최소한의 파arameter로 간소화된 인코더를 활용한다.
• 정보 손실를 줄이기 위해 표준 풀링 및 컨볼루션을 재구성 및 그룹 컨볼루션으로 대체한다.
• 주요 혁신은 인코더 측의 융합에 있으며, 디코더에서는 CCA 기반 어텐션을 사용해 특징을 정밀하게 보정한다.

실험 결과

연구 질문

• RQ1 인접한 인코더 레이어 출력 간의 이중 라운드 융합 메커니즘이 U-Net에서 특징 표현을 향상시키고 의미적 갭을 줄일 수 있는가?
• RQ2 특징 맵의 업샘플링/다운샘플링 과정에서 국소적 공간 인접성을 유지하면 병리학적 영상의 세분화 정확도가 향상되는가?
• RQ3 성능 및 파arameter 효율성 측면에서 제안된 융합 모듈은 기존 방법과 비교해 어떻게 성과를 내는가?
• RQ4 기본 U-Net 아키텍처에 융합 모듈을 통합했을 때 성능 향상 정도는 어느 정도인가?
• RQ5 융합 모듈은 다른 세분화 네트워크에 일반화되어 효과적으로 적용될 수 있는가?

주요 결과

• FusionU-Net는 PanNuke 데이터셋에서 평균 Dice 스코어 57.29를 기록하여 베이스라인 U-Net 및 기타 최신 기술 모델을 능가한다.
• 제거 실험 결과, DownFuse 및 UpFuse 블록을 병합한 조합이 가장 높은 성능을 보였으며, 융합 없음 기준 평균 Dice에서 3.47점 향상되었다.
• 풀링 및 표준 컨볼루션 대비 재구성된 특징 맵과 그룹 컨볼루션을 사용할 경우 평균 Dice에서 0.4점 향상되었다.
• UpFuse 블록이 DownFuse보다 더 큰 기여를 하여, 의미적 갭을 메우는 데 있어 상향 방향 정보 흐름이 더 중요함을 시사한다.
• 간단한 인코더를 사용했음에도 불구하고, TransUNet 및 UNet++와 같은 더 큰 모델과 유사한 성능을 달성하여 융합 모듈의 효과성을 입증한다.
• 모델은 오직 34.98M 파arameter와 97.15G FLOPs만을 필요로 하여 높은 효율성과 강력한 성능을 동시에 확보한다.