[논문 리뷰] Pubic Symphysis-Fetal Head Segmentation Using Pure Transformer with Bi-level Routing Attention

Pengzhou Cai, Jiang, Lu외 2명|arXiv (Cornell University)|2023. 09. 30.

Cleft Lip and Palate Research인용 수 4

한 줄 요약

이 논문은 횡회음초음파 영상에서 골반대퇴부-태아두개 분할을 정확하게 수행하기 위해 양수준 라우팅 어텐션(BRA)을 갖춘 순수 트랜스포머 기반 U-Net 아키텍처인 BRAU-Net을 제안한다. 이 방법은 굵은에서 세밀한 어텐션 라우팅을 통해 장거리 종속성 모델링을 향상시키며, FH-PS-AOP 챌린지 테스트 세트에서 최종 점수 89.74를 기록하여 임상적 태아두개 위치 평가에서 뛰어난 성능을 보였다.

ABSTRACT

In this paper, we propose a method, named BRAU-Net, to solve the pubic symphysis-fetal head segmentation task. The method adopts a U-Net-like pure Transformer architecture with bi-level routing attention and skip connections, which effectively learns local-global semantic information. The proposed BRAU-Net was evaluated on transperineal Ultrasound images dataset from the pubic symphysis-fetal head segmentation and angle of progression (FH-PS-AOP) challenge. The results demonstrate that the proposed BRAU-Net achieves comparable a final score. The codes will be available at https://github.com/Caipengzhou/BRAU-Net.

연구 동기 및 목표

• 횡회음초음파 영상에서 골반대퇴부 및 태아두개에 대한 강건한, 완전히 트랜스포머 기반의 분할 모델을 개발하기 위해.
• 수작업 분할의 한계를 해결하기 위해, 이는 시간이 오래 걸리고 관찰자 간 변동성이 높기 때문이다.
• 자동 분할 및 진행 각도(AoP) 측정을 통해 태아두개 하강의 객관적이고 정확하며 재현 가능한 평가를 향상시키기 위해.
• 이중 레벨 라우팅 어텐션을 U-Net 유사 아키텍처에 통합하여 국소적 및 전역적 의미 특징을 효과적으로 포착하기 위해.
• 골반대퇴부-태아두개 분할 및 진행 각도(FH-PS-AOP) 챌린지에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 모델은 순수 트랜스포머 인코더-디코더 백본을 갖춘 U-Net 유사 아키텍처를 사용하며, 합성곱 레이어를 자기어텐션 메커니즘으로 대체한다.
• 핵심 구성 요소는 BiFormer 블록으로, 공간 영역 간 및 선택된 영역 내에서 동적으로 어텐션을 라우팅하는 이중 레벨 라우팅 어텐션을 적용한다.
• 이중 레벨 라우팅은 겹치지 않는 패치에 대해 쿼리 및 키 풀링을 통해 영역 수준의 어텐션 계산을 수행한 후, 가장 관련성이 높은 영역을 상위-k로 선택하는 방식이다.
• 그 후, 토큰 간 어텐션은 상위-k로 라우팅된 영역 내에서만 적용되어 계산 비용을 줄이면서도 장거리 종속성을 유지한다.
• 지속 가능한 국소적 컨텍스트 인코더(LCE)는 5x5 디프스와이즈 컨볼루션을 사용하여 어텐션 메커니즘 내 국소적 특징 모델링을 향상시킨다.
• 스킵 커넥션을 사용하여 인코더의 다중 스케일 특징을 디코더와 융합함으로써 공간 해상도를 유지하고 국소화 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 순수 트랜스포머 기반 U-Net에 이중 레벨 라우팅 어텐션을 적용할 경우 횡회음초음파 영상에서 골반대퇴부-태아두개 분할에 경쟁력 있는 성능을 달성할 수 있는가?
• RQ2 이중 레벨 라우팅 어텐션은 의료 영상 분할에서 계산 효율성을 유지하면서도 장거리 종속성을 어떻게 향상시키는가?
• RQ3 제안된 BRAU-Net은 태아두개 위치 평가에서 수작업 분할에 비해 관찰자 간 변동성을 어느 정도 감소시키는가?
• RQ4 모델은 FH-PS-AOP 챌린지 테스트 세트에 대해 얼마나 잘 일반화되는가? 특히 DSC, 하우스도르프 거리, AOP 추정 정확도 측면에서 말이다.
• RQ5 어텐션 메커니즘과 함께 국소적 컨텍스트 인코딩(LCE)을 통합할 경우 저대비도 초음파 영상에서 분할 정밀도를 추가로 향상시킬 수 있는가?

주요 결과

• BRAU-Net은 FH-PS-AOP 챌린지 테스트 세트에서 최종 점수 89.74를 기록하여 강력한 일반화 능력과 임상적 관련성을 입증했다.
• 모델은 태아두개(FH)의 경우 DSC 0.88, 골반대퇴부(PS)의 경우 0.80, 통합 영역(ALL)의 경우 0.87을 기록했다.
• 하우스도르프 거리(HD)는 태아두개의 경우 20.03 mm, 골반대퇴부의 경우 14.07 mm로 경계 국소화가 우수함을 나타냈다.
• 평균 표면 거리(ASD)는 태아두개의 경우 7.10 mm, 골반대퇴부의 경우 4.21 mm로 높은 분할 정확도를 반영했다.
• 추정된 진행 각도(AOP)는 12.20°로 임상적 기대와 일치하며, 산과적 의사결정 지원에 모델의 유용성을 뒷받침한다.
• 모델은 DSC, HD, ASD, AOP를 종합한 최종 점수에서 모든 지표에서 균형 잡힌 성능을 달성하여 임상 평가에서의 강건성을 보였다.