[논문 리뷰] A Multi-Branch Hybrid Transformer Networkfor Corneal Endothelial Cell Segmentation

Yinglin Zhang, Risa Higashita외 6명|arXiv (Cornell University)|2021. 05. 21.

Retinal Imaging and Analysis참고 문헌 13인용 수 10

한 줄 요약

이 논문은 복합적이고 변형된 세포 경계를 보완하기 위해 국소적 텍스처와 전역적 맥락을 포착하는 데 사용되는 컨volution 및 트랜스포머 블록을 조합한 다중지점 하이브리드 트랜스포머 네트워크(MBT-Net)를 제안한다. 또한 경계 국소화와 일관성을 향상시키기 위해 별도의 바디-경계 지점(branch)을 도입한다. 이 방법은 두 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 기준 모델 대비 DICE 점수를 2.7% 향상시키고 F1 점수를 1.4% 향상시켰다.

ABSTRACT

Corneal endothelial cell segmentation plays a vital role inquantifying clinical indicators such as cell density, coefficient of variation,and hexagonality. However, the corneal endothelium's uneven reflectionand the subject's tremor and movement cause blurred cell edges in theimage, which is difficult to segment, and need more details and contextinformation to release this problem. Due to the limited receptive field oflocal convolution and continuous downsampling, the existing deep learn-ing segmentation methods cannot make full use of global context andmiss many details. This paper proposes a Multi-Branch hybrid Trans-former Network (MBT-Net) based on the transformer and body-edgebranch. Firstly, We use the convolutional block to focus on local tex-ture feature extraction and establish long-range dependencies over space,channel, and layer by the transformer and residual connection. Besides,We use the body-edge branch to promote local consistency and to provideedge position information. On the self-collected dataset TM-EM3000 andpublic Alisarine dataset, compared with other State-Of-The-Art (SOTA)methods, the proposed method achieves an improvement.

연구 동기 및 목표

• 불균일한 조명과 운동 아티팩트로 인해 발생하는 각막 내피세포 영상에서 흐릿하고 비정형적인 세포 경계 문제를 해결하기 위해.
• 딥 러닝 모델에서 전역적 맥락 인식과 국소적 세부 정보 유지 기능을 통합하여 분할 정확도를 향상시키기 위해.
• 전용 바디-경계 지점 아키텍처를 통해 경계 국소화를 향상시키고 지역 일관성을 증진하기 위해.
• 표준 U-Net 및 주의 기반 모델이 장거리 의존성과 미세한 세부 정보를 포착하는 데 한계를 보이는 문제를 극복하기 위해.
• 어려운 영상 품질을 가진 실제 각막 현미경 영상에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 모델는 국소적 텍스처 학습을 위한 컨볼루션 블록과 장거리 공간, 채널 및 레이어 간 의존성을 모델링하기 위한 자기주의 메커니즘을 조합한 하이브리드 잔차 트랜스포머 특징 추출 모듈을 사용한다.
• 다중지점 아키텍처가 도입되었으며, 세포 내부와 경계에 대한 구분 가능한 표현을 학습할 수 있도록 바디 및 경계 특징을 위한 별도의 지점이 마련되어 있다.
• 에코더-디코더 구조는 선택적 교체 전략을 사용하며, 트랜스포머 레이어를 깊이 있는 레이어에 점진적으로 적용하여 전역적 맥락과 국소적 세부 정보 유지 간 균형을 이룬다.
• 바디-경계 지점은 명시적으로 경계 지ap을 예측하고 특징 전파를 통해 일관성을 강제함으로써 경계 국소화를 향상시키고 분할 노이즈를 감소시킨다.
• 이중 교차 엔트로피와 DICE 손실을 사용하여 엔드 투 엔드로 네트워크를 훈련시키며, 고해상도 특징을 유지하기 위해 스킵 연결이 사용된다.
• 아블레이션 연구를 통해 트랜스포머 레이어의 최적 배치와 바디-경계 지점의 기여도를 결정하기 위해 아키텍처를 최적화한다.

실험 결과

연구 질문

• RQ1 하이브리드 트랜스포머 및 컨볼루션 네트워크 아키텍처가 흐릿한 경계를 가진 각막 내피세포의 분할 정확도를 향상시킬 수 있는가?
• RQ2 전용 바디-경계 지점의 통합이 분할에서 경계 국소화와 지역 일관성에 어떤 영향을 미치는가?
• RQ3 에코더-디코더 네트워크 내에서 트랜스포머 레이어의 최적 배치는 무엇인가?
• RQ4 전역적 맥락 모델링과 국소적 세부 정보 유지 기능을 통합하면 표준 U-Net 또는 주의 기반 모델보다 더 나은 성능을 내는가?
• RQ5 제안된 방법은 불균일한 조명과 영상 아티팩트가 있는 실제 데이터셋에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 MBT-Net는 TM-EM3000 데이터셋에서 DICE 점수 0.747과 F1 점수 0.747을 기록하여, 트랜스포머나 바디-경계 지점을 포함하지 않은 기준 모델 대비 각각 2.7%와 1.4% 향상된 성능을 달성하였다.
• Alisarine 데이터셋에서는 DICE 점수 0.786과 F1 점수 0.821을 기록하여 비교된 모든 최신 기술 수준 모델을 능가하였다.
• 아블레이션 연구 결과, 가장 깊은 에코더 및 디코더 레이어를 트랜스포머로 교체한 (2-2-TR) 구성이 국소적 세부 정보와 전역적 맥락 간의 균형을 가장 잘 유지하며, 전체 트랜스포머 교체(4-4-TR)보다 뛰어난 성능을 보였다.
• 바디-경계 지점만으로도 기준 모델 대비 DICE 점수를 1.1% 향상시키고 F1 점수를 0.4% 향상시켜, 경계 검출 향상에 효과적임을 입증하였다.
• 트랜스포머와 바디-경계 지점의 조합이 가장 뚜렷한 성능 향상을 가져왔으며, 특히 흐릿하거나 명확하지 않은 세포 경계 영역에서 정량적 결과에서 두드러진 성능 향상을 보였다.
• 기준 모델이 연속적이고 정확한 분할을 유지하지 못하는 불균일한 조명 및 흐린 경계 영역에서도 모델이 강건성을 보였으며, 이는 실제 응용에서의 유용성을 시사한다.