[論文レビュー] The Extreme Cardiac MRI Analysis Challenge under Respiratory Motion (CMRxMotion)

Shuo Wang, Chen Qin+13 more|arXiv (Cornell University)|Oct 12, 2022

Cardiac Imaging and Diagnostics被引用数 13

ひとこと要約

本論文は、40名の健常被験者を前向きにスキャンし、心臓MRI中に制御された極端な呼吸運動条件下で得られた公開ベンチマークデータセット、CMRxMotionチャレンジを紹介する。このチャレンジは、画像品質評価および左/右心室セグメンテーションにおけるモデルの頑健性を、変動する運動アーチファクト下で評価するもので、Cohenのκ係数およびDice/ハウスドルフ指標を用い、15名の被験者からの結果を用いて最終的なオフライン評価を実施する。

ABSTRACT

The quality of cardiac magnetic resonance (CMR) imaging is susceptible to respiratory motion artifacts. The model robustness of automated segmentation techniques in face of real-world respiratory motion artifacts is unclear. This manuscript describes the design of extreme cardiac MRI analysis challenge under respiratory motion (CMRxMotion Challenge). The challenge aims to establish a public benchmark dataset to assess the effects of respiratory motion on image quality and examine the robustness of segmentation models. The challenge recruited 40 healthy volunteers to perform different breath-hold behaviors during one imaging visit, obtaining paired cine imaging with artifacts. Radiologists assessed the image quality and annotated the level of respiratory motion artifacts. For those images with diagnostic quality, radiologists further segmented the left ventricle, left ventricle myocardium and right ventricle. The images of training set (20 volunteers) along with the annotations are released to the challenge participants, to develop an automated image quality assessment model (Task 1) and an automated segmentation model (Task 2). The images of validation set (5 volunteers) are released to the challenge participants but the annotations are withheld for online evaluation of submitted predictions. Both the images and annotations of the test set (15 volunteers) were withheld and only used for offline evaluation of submitted containerized dockers. The image quality assessment task is quantitatively evaluated by the Cohen's kappa statistics and the segmentation task is evaluated by the Dice scores and Hausdorff distances.

研究の動機と目的

• 心臓MRIの画像品質に及ぼす呼吸運動の影響を評価するための公開ベンチマークデータセットを構築すること。
• 臨床現場における現実の条件下で、極端な呼吸運動アーチファクト下における自動セグメンテーションモデルの頑健性を評価すること。
• 画像品質評価およびセグメンテーションタスクのための訓練・検証・テストセットを備えた標準化されたチャレンジフレームワークを提供すること。
• 標準化された指標を用いて、さまざまな運動アーチファクトの重度の段階におけるディープラーニングモデルの比較を可能にすること。
• 患者の呼吸保持が不規則であっても、臨床的に信頼できるAIツールの開発を支援すること。

提案手法

• 3Tスキャナで1回のMRIセッション中に、4種類の異なる呼吸保持行動（従従的、半分、自由、強化）をとる40名の健常被験者を参加者として募集した。
• 同一のスキャナおよびプロトコルを用いて、拡張期および収縮期の短軸cine MRIをペアで取得し、呼吸運動を唯一の変数として隔離した。
• 放射線科医がアノテートした画像品質ラベル（軽度、中程度、重度の運動）および診断品質の画像における左心室、心筋、右心室の手動セグメンテーションを用いた。
• モデル開発およびオンライン評価のため、トレーニング（20名）および検証（5名）データを公開した。
• オフライン評価のためのテストセット（15名）を非公開に保ち、コンテナ化されたDocker提出の公平性と再現性を確保した。
• 画像品質評価にはCohenのκ係数、セグメンテーション評価にはDiceスコアおよび95%ハウスドルフ距離を用い、MedPyおよびscikit-learnの実装を用いた。

実験結果

リサーチクエスチョン

• RQ1 呼吸運動の重度が、心臓MRIのcine画像の診断品質にどのように影響するか？
• RQ2 自動画像品質評価モデルは、軽度、中程度、重度の運動アーチファクトをどの程度正確に区別できるか？
• RQ3 極端な条件下での呼吸運動アーチファクトに対して、ディープラーニングセグメンテーションモデルの頑健性はどの程度か？
• RQ4 アーチファクトのないデータで訓練されたモデルは、重度の運動アーチファクトを含む画像に一般化できるか？性能はどのように低下するか？
• RQ5 さまざまな運動アーチファクトの重度の段階において、左心室、心筋、右心室のセグメンテーションにおいて、異なるモデルの相対的な性能はいかがなっているか？

主な発見

• CMRxMotionチャレンジデータセットは、40名の被験者と4種類の異なる呼吸保持行動を用いて、心臓MRIにおける極端な呼吸運動を模擬した制御された前向きのベンチマークを提供する。
• 画像品質評価モデルはCohenのκ係数を用いて評価され、有意性の検定にはブートストラップリサンプリングおよび対応のあるWilcoxon検定が用いられた。
• セグメンテーションモデルはDiceスコアおよび95%ハウスドルフ距離を用いて評価され、最終的な順位付けはLV、MYO、RV構造の各々に対して「順位をつけてから集約する」戦略によって計算された。
• チャレンジは、コンテナ化されたDocker提出を用いて15件のテストケースのオフライン評価を成功裏に実施し、再現性と公平性を確保した。
• データセットおよびチャレンジフレームワークはSynapseおよびチャレンジ公式ウェブサイトを通じて公開されており、将来的なモデルの頑健性に関する研究を支援する。
• 上位のモデルは、運動アーチファクトへの一般化性能が向上しており、極端で現実的な変動を含むモデルのストレステストの価値が浮き彫りになった。