[논문 리뷰] Recurrent U-net for automatic pelvic floor muscle segmentation on 3D ultrasound

Frieda van den Noort, Beril Sırmaçek외 1명|arXiv (Cornell University)|2021. 07. 29.

Pelvic floor disorders treatments참고 문헌 48인용 수 4

한 줄 요약

이 논문은 3D 전정비음초음파(3D TPUS) 영상에서 광배근(levator ani muscle, LAM)의 자동 분할을 위해 2D U-Net 아키텍처에 순환합성장기기억(Convolu-tional Long Short-Term Memory, CLSTM) 유닛을 통합한 순환 U-Net(RU-Net) 아키텍처를 제안한다. 이는 3D 구조적 맥락을 학습할 수 있도록 한다. 이 방법은 인체 내 관찰자 간 변동성 수준의 수작업 분할 성능을 달성하여, 3D TPUS 자료에서 표준 2D U-Net에 비해 뚜렷한 향상을 보였다.

ABSTRACT

The prevalance of pelvic floor problems is high within the female population. Transperineal ultrasound (TPUS) is the main imaging modality used to investigate these problems. Automating the analysis of TPUS data will help in growing our understanding of pelvic floor related problems. In this study we present a U-net like neural network with some convolutional long short term memory (CLSTM) layers to automate the 3D segmentation of the levator ani muscle (LAM) in TPUS volumes. The CLSTM layers are added to preserve the inter-slice 3D information. We reach human level performance on this segmentation task. Therefore, we conclude that we successfully automated the segmentation of the LAM on 3D TPUS data. This paves the way towards automatic in-vivo analysis of the LAM mechanics in the context of large study populations.

연구 동기 및 목표

• 3D 전정비음초음파(3D TPUS) 영상에서 골반저 기능 이상을 연구하는 데 필수적인 광배근(LAM)의 정확한 3D 분할 문제를 해결하기 위해.
• 노이즈가 많고 대trast가 낮은 초음파 자료에서 3D 구조 분할에 필수적인 슬라이스 간 맥락 정보를 포착하지 못하는 2D U-Net의 한계를 극복하기 위해.
• 슬라이스 간 시간 유사 순환성을 활용하여 3D TPUS 자료에서 분할의 강건성과 정확도를 향상시키는 딥 러닝 아키텍처를 개발하기 위해.
• 인간 관찰자 간 변동성 수준의 분할 성능를 달성하여 LAM 기계학적 특성에 대한 대규모 임상 연구를 신뢰성 있게 수행할 수 있도록 하기 위해.

제안 방법

• 3D TPUS 영상의 슬라이스 간 순차적 의존성을 모델링하기 위해, 일부 합성곱 레이어를 순환합성장기억(Convolutional Long Short-Term Memory, CLSTM) 유닛으로 교체하여 2D U-Net 아키텍처를 변형하였다.
• 3D 구조적 특징을 유지하고 전파하기 위해, U-Net의 인코더 및 디코더 경로에 다중 공간 해상도 수준에서 CLSTM 레이어를 통합하였다.
• 수작업으로 분할된 LAM 레이블이 포함된 3D TPUS 영상을 사용하여 엔드 투 엔드로 네트워크를 훈련시켰으며, 기본 초모수를 사용한 Adam 옵timizer를 적용하였다.
• 해부학적 굴곡으로 인한 학습 방해를 방지하기 위해, 축상 영상의 경우 상단에서 하단으로 순서를 정해 슬라이스를 입력하여 훈련 안정성을 향상시켰다.
• 이전 방향(예: 축상)에서 새로운 방향(예: 곡선상)으로 전이 학습을 수행하여 성능을 분석하였으며, 수렴 속도가 빨라졌지만 과적합 위험이 증가하는 경향을 관찰하였다.
• 모델이 수렴하는 데 문제 없이 잘 작동하여 클래스 불균형을 보완하기 위해 데이터 샘플링을 생략하였으며, 근육 포함 슬라이스에 대해 이중 훈련을 수행하면 수렴 속도가 약간 향상되었다.

실험 결과

연구 질문

• RQ1 CLSTM 레이어를 갖춘 2D U-Net 아키텍처가 3D TPUS 자료의 2D 슬라이스에서 LAM 분할을 위해 효과적으로 3D 맥락 정보를 학습할 수 있는가?
• RQ2 제안된 순환 U-Net(RU-Net)이 3D TPUS 영상에서 인간 관찰자 간 변동성 수준의 분할 성능를 달성하는가?
• RQ3 고노이즈 및 저대trast 초음파 자료에 적용했을 때, CLSTM 유닛의 포함이 표준 2D U-Net에 비해 분할 정확도를 어떻게 향상시키는가?
• RQ4 슬라이스 순서 및 훈련 전략(예: 전이 학습)이 RU-Net 모델의 수렴성과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 RU-Net 모델은 다양한 영상 방향(축상, 관절상, 곡선상)으로 일반화 가능한가? 특정 방향이 더 우수한 성능를 보이는가?

주요 결과

• 제안된 순환 U-Net(RU-Net)은 인체 내 관찰자 간 수작업 분할 성능 수준을 달성하여 높은 신뢰성과 임상적 관련성을 보였다.
• CLSTM 레이어의 통합은 3D TPUS 자료에서 슬라이스 간 맥락적 의존성을 학습할 수 있도록 하여 표준 2D U-Net에 비해 분할 정확도를 크게 향상시켰다.
• 다양한 영상 방향에서 우수한 성능를 보였으며, 곡선상 영상에서 가장 우수한 결과를 기록하여 더 많은 3D 정보를 담고 있음을 시사했다.
• 학습률에 민감하게 반응하여 미세한 조정만으로도 훈련 실패나 수렴 불량이 발생했으며, 이는 초모수 조정의 신중한 접근이 필요함을 시사한다.
• 한 방향에서 다른 방향으로 전이 학습을 수행하면 수렴 속도가 빨라지지만, 훈련의 확률적 성격으로 인해 과적합 위험이 증가하여 전이 학습의 상충 요소를 드러냈다.
• 클래스 불균형을 보완하기 위해 데이터 샘플링이 필요로 하지 않았으며, 모델이 잘 수렴하여 우수한 성능를 달성했고, 근육 포함 슬라이스에 대해 이중 훈련을 수행하면 수렴 속도가 약간 향상되었다.