[논문 리뷰] Fully automated analysis of muscle architecture from B-mode ultrasound images with deep learning

Neil J. Cronin, Taija Finni외 1명|arXiv (Cornell University)|2020. 09. 10.

Sports injuries and prevention인용 수 9

한 줄 요약

이 연구는 B-mode 초음파 영상에서 근육 구조를 분석하기 위해 U-Net 기반의 완전 자동화되고 오픈소스인 딥러닝 프레임워크를 제시한다. 이 방법은 높은 정확도로 섬유와 건막을 탐지하며, 수동 및 반자동 방법과 비교해 유사한 성능을 보이며, GPU를 사용할 경우 이미지당 1초 이내의 추론 시간을 확보한다. 이는 단일 이미지뿐 아니라 영상 시퀀스도 지원한다.

ABSTRACT

B-mode ultrasound is commonly used to image musculoskeletal tissues, but one major bottleneck is data interpretation, and analyses of muscle thickness, pennation angle and fascicle length are often still performed manually. In this study we trained deep neural networks (based on U-net) to detect muscle fascicles and aponeuroses using a set of labelled musculoskeletal ultrasound images. We then compared neural network predictions on new, unseen images to those obtained via manual analysis and two existing semi/automated analysis approaches (SMA and Ultratrack). With a GPU, inference time for a single image with the new approach was around 0.7s, compared to 4.6s with a CPU. Our method detects the locations of the superficial and deep aponeuroses, as well as multiple fascicle fragments per image. For single images, the method gave similar results to those produced by a non-trainable automated method (SMA; mean difference in fascicle length: 1.1 mm) or human manual analysis (mean difference: 2.1 mm). Between-method differences in pennation angle were within 1$^\\circ$, and mean differences in muscle thickness were less than 0.2 mm. Similarly, for videos, there was strong overlap between the results produced with Ultratrack and our method, with a mean ICC of 0.73, despite the fact that the analysed trials included hundreds of frames. Our method is fully automated and open source, and can estimate fascicle length, pennation angle and muscle thickness from single images or videos, as well as from multiple superficial muscles. We also provide all necessary code and training data for custom model development.

연구 동기 및 목표

• 근육 섬유, 건막 및 관련 매개변수의 수동 세그멘테이션에 소요되는 시간 문제를 해결하기 위해.
• 사용자 입력이 필요한 기존 반자동 도구의 한계를 극복하고, 고정된 사전 처리 필터에 의존하거나 오픈소스가 아닌 도구의 문제를 해결하기 위해.
• 다양한 기기, 근육 및 인구 집단의 초음파 영상에 일반화 가능한 견고한 완전 자동 딥러닝 솔루션을 개발하기 위해.
• 단일 이미지 및 영상 시퀀스에서 섬유 길이, 기울기 각도, 근육 두께를 정확하고 재현 가능하며 확장 가능한 방식으로 계산할 수 있도록 하기 위해.

제안 방법

• B-mode 초음파 영상에서 표면 및 깊은 수준의 건막을 탐지하기 위한 U-Net 기반의 컨볼루션 신경망을 두 개 학습시켰으며, 근육 섬유 조각을 식별하기 위한 또 다른 모델을 개발하였다.
• 다양한 데이터셋(건막 탐지에 570장, 섬유 탐지에 310장)을 사용하여 픽셀 단위의 세그멘테이션 레이블을 기반으로 지도 학습 방식을 적용하였다.
• 相対적으로 작은 레이블이 있는 데이터셋을 고려해 모델의 강건성과 일반화 능력을 향상시키기 위해 풍부한 데이터 증강 기법을 적용하였다.
• 시간적 종속성이 없이 단일 이미지 및 영상 프레임을 별도로 추론하여 빠른 처리가 가능하며, 한 프레임에 여러 개의 섬유를 동시에 탐지할 수 있도록 하였다.
• Python으로 전체 소스 코드와 사전 학습된 모델을 구현하였으며, 커뮤니티 사용을 위해 무료 GPU 접근이 가능한 Google Colab 버전도 제공하였다.
• 기하학적 및 영상 분석 기법을 사용하여 예측된 세그멘테이션 마스크에서 직접 근육 구조 매개변수(섬유 길이, 기울기 각도, 근육 두께)를 계산하였다.

실험 결과

연구 질문

• RQ1 완전 자동 딥러닝 모델이 B-mode 초음파 영상에서 근육 섬유와 건막을 탐지하는 데 있어 수동 및 반자동 방법과 비교해 유사한 정확도를 달성할 수 있는가?
• RQ2 기존 도구(SMA 및 Ultratrack)와 비교할 때, 제안된 방법의 섬유 길이, 기울기 각도 및 근육 두께 추정 성능은 어떠한가?
• RQ3 이 모델은 다양한 기기, 근육 및 인구 집단의 초음파 영상에 얼마나 잘 일반화되는가?
• RQ4 영상 시퀀스를 신뢰성 있게 처리하여 사용자 정의 섬유 추적 없이도 각 프레임 간 일관된 근육 구조 지표를 생성할 수 있는가?
• RQ5 모델의 성능은 인간 전문가와 비교해 상호 방법 간 변동성과 재현 가능성 측면에서 어떻게 평가되는가?

주요 결과

• 비학습 기반 SMA 방법과 비교해 섬유 길이 평균 차이가 단 1.1 mm이며, 수동 분석과 비교해도 2.1 mm 이내로 매우 높은 정확도를 보였다.
• 다양한 방법 간 기울기 각도의 차이는 항상 1° 이내로 유지되어 기존 기준 방법과 강한 일치를 보였다.
• 근육 두께 추정치의 평균 차이는 모든 방법 간 0.2 mm 미만으로 높은 정밀도를 확인하였다.
• 영상 시퀀스 분석에서는 제안된 방법과 Ultratrack 간 Intraclass Correlation Coefficient(ICC)가 0.73로 나타나, 프레임 간 탐지 변동성에도 불구하고 강한 일치를 보였다.
• GPU 기반 추론 시간은 이미지당 약 0.7초로, CPU 기반 처리(4.6초)보다 훨씬 빠르며, 대량 처리에 매우 효율적이다.
• 모델은 한 이미지당 여러 개의 섬유 조각을 탐지하고 각 프레임을 독립적으로 처리하여, 외관상 유사한 프레임에서도 서로 다른 영역의 탐지를 가능하게 하였다.