[論文レビュー] Fully automated analysis of muscle architecture from B-mode ultrasound images with deep learning

Neil J. Cronin, Taija Finni+1 more|arXiv (Cornell University)|Sep 10, 2020

Sports injuries and prevention被引用数 9

ひとこと要約

本研究では、U-Netに基づく完全自動化でオープンソースのディープラーニングフレームワークを提案し、Bモード超音波画像からの筋線維構造の分析を実現した。本手法は、筋線維および筋膜を高い正確性で検出でき、GPUを用いた1枚あたり0.7秒未満の推論時間で、手動および準自動化手法と同等の結果を達成した。本手法は単一画像および動画シーケンスの両方を対応可能としている。

ABSTRACT

B-mode ultrasound is commonly used to image musculoskeletal tissues, but one major bottleneck is data interpretation, and analyses of muscle thickness, pennation angle and fascicle length are often still performed manually. In this study we trained deep neural networks (based on U-net) to detect muscle fascicles and aponeuroses using a set of labelled musculoskeletal ultrasound images. We then compared neural network predictions on new, unseen images to those obtained via manual analysis and two existing semi/automated analysis approaches (SMA and Ultratrack). With a GPU, inference time for a single image with the new approach was around 0.7s, compared to 4.6s with a CPU. Our method detects the locations of the superficial and deep aponeuroses, as well as multiple fascicle fragments per image. For single images, the method gave similar results to those produced by a non-trainable automated method (SMA; mean difference in fascicle length: 1.1 mm) or human manual analysis (mean difference: 2.1 mm). Between-method differences in pennation angle were within 1$^\\circ$, and mean differences in muscle thickness were less than 0.2 mm. Similarly, for videos, there was strong overlap between the results produced with Ultratrack and our method, with a mean ICC of 0.73, despite the fact that the analysed trials included hundreds of frames. Our method is fully automated and open source, and can estimate fascicle length, pennation angle and muscle thickness from single images or videos, as well as from multiple superficial muscles. We also provide all necessary code and training data for custom model development.

研究の動機と目的

• 筋線維、筋膜および関連パrameterの手動セグメンテーションに要する時間の長さによる、筋骨格系超音波画像解析のボトルネックを解消すること。
• ユーザーの入力が必要な既存の準自動化ツール、固定された事前処理フィルタに依存するもの、またはオープンソースでないものといった制限を克服すること。
• 異なるデバイス、筋肉、被験者集団からの多様な超音波画像に一般化可能な、強固な完全自動化ディープラーニングソリューションを開発すること。
• 単一画像および動画シーケンスの両方から、筋線維長、ピラノーション角、筋肉厚さの正確で再現可能かつスケーラブルな計算を可能にすること。

提案手法

• Bモード超音波画像における浅層および深層筋膜を検出するためのU-Netベースの畳み込みニューラルネットワークと、筋線維断片を同定する別のU-Netベースのネットワークを訓練した。
• 筋膜検出に570枚、筋線維検出に310枚の多様なデータセットを用い、ピクセル単位のセグメンテーションラベルを用いた教師あり学習手法を採用した。
• 特にラベル付きデータセットが比較的小さかったことから、モデルのロバスト性および一般化性能を向上させるために、広範なデータオーグメンテーションを訓練中に適用した。
• 時間的依存性を持たない形で、単一画像および動画フレームを個別に推論処理した。これにより、高速な処理が可能となり、1フレームあたり複数の筋線維断片の検出が可能になった。
• Pythonで実装し、完全なソースコードおよび事前学習済みモデルを提供。コミュニティ利用を想定し、無料GPUアクセスが可能なGoogle Colab版も提供した。
• 幾何学的および画像解析技術を用いて、予測されたセグメンテーションマスクから直接、筋線維長、ピラノーション角、筋肉厚さなどの筋線維構造パrameterを算出した。

実験結果

リサーチクエスチョン

• RQ1 完全自動化のディープラーニングモデルは、Bモード超音波画像における筋線維および筋膜の検出において、手動および準自動化手法と同等の正確性を達成できるか？
• RQ2 本手法の性能は、SMAおよびUltratrackといった既存のツールと比較して、筋線維長、ピラノーション角、筋肉厚さの推定においてどのように差異を示すか？
• RQ3 本モデルは、異なるデバイス、筋肉、被験者集団からの多様な超音波画像にどの程度一般化可能か？
• RQ4 本手法は動画シーケンスを信頼性高く処理でき、ユーザー定義の筋線維トラッキングを必要とせずに、フレーム間で一貫した筋線維構造指標を生成できるか？
• RQ5 本手法の性能は、人間の専門家と比較して、メソッド間のばらつきおよび再現性の観点からどの程度優れているか？

主な発見

• 本手法は、非トレーナブルなSMA手法と比較して筋線維長の平均差がわずか1.1 mm、手動分析と比較しては2.1 mmにとどまり、高い正確性を示した。
• ピラノーション角のメソッド間差は常に1°以内に収まり、標準的基準手法との強い一致を示した。
• 筋肉厚さの推定値においても、各手法間の平均差は0.2 mm未満であり、高い精度を確認した。
• 動画シーケンスにおいて、本手法とUltratrack間の組内相関係数（ICC）は0.73であった。これは、フレーム間の検出ばらつきが存在するものの、強い一貫性を示していることを意味する。
• GPU上での推論時間は1枚あたり約0.7秒であり、CPUベース処理（4.6秒）と比較して著しく高速で、バッチ処理に適した。
• モデルは1枚の画像に複数の筋線維断片を検出し、各フレームを独立して処理したため、視覚的に類似したフレーム間でも、異なる領域からの検出が可能となった。