[論文レビュー] Semi-Supervised Multimodal Multi-Instance Learning for Aortic Stenosis Diagnosis

Zhe Huang, Xiaowei Yu+2 more|arXiv (Cornell University)|Mar 9, 2024

Cardiac Valve Diseases and Treatments被引用数 4

ひとこと要約

本稿では、心膜ドプラおよび2次元シネループ心エコー画像を統合することで、大動脈狭窄（AS）の診断を向上させる半教師ありマルチモodalマルチインスタンス学習フレームワークSMMILを提案する。2つのモダリティにわたるラベル付きデータと多数のラベルなしデータを活用することで、SMMILは最先端の性能を達成し、3段階のAS分類においてTMED-2データセットで83.5％のバランス精度を達成し、主要ベンチマークで先行手法を10ポイント以上上回った。

ABSTRACT

Automated interpretation of ultrasound imaging of the heart (echocardiograms) could improve the detection and treatment of aortic stenosis (AS), a deadly heart disease. However, existing deep learning pipelines for assessing AS from echocardiograms have two key limitations. First, most methods rely on limited 2D cineloops, thereby ignoring widely available Doppler imaging that contains important complementary information about pressure gradients and blood flow abnormalities associated with AS. Second, obtaining labeled data is difficult. There are often far more unlabeled echocardiogram recordings available, but these remain underutilized by existing methods. To overcome these limitations, we introduce Semi-supervised Multimodal Multiple-Instance Learning (SMMIL), a new deep learning framework for automatic interpretation for structural heart diseases like AS. When deployed, SMMIL can combine information from two input modalities, spectral Dopplers and 2D cineloops, to produce a study-level AS diagnosis. During training, SMMIL can combine a smaller labeled set and an abundant unlabeled set of both modalities to improve its classifier. Experiments demonstrate that SMMIL outperforms recent alternatives at 3-level AS severity classification as well as several clinically relevant AS detection tasks.

研究の動機と目的

• 自動的大動脈狭窄診断における心エコー画像のラベル付きデータが限られているという課題に対処すること。
• 臨床実践を模倣する包括的なスタディレベルの診断を実現するため、スペクトルドプラおよび2次元シネループ画像モダリティを統合すること。
• 5,386枚のラベルなしスキャンを活用する半教師あり学習フレームワークを構築すること。
• 個々の画像を独立して扱う既存のモデルの限界を克服し、包括的な診断を合成すること。
• ファインチューニングなしで市販の医療基礎モデルがAS診断で良好な性能を発揮できるかどうかを評価すること。

提案手法

• SMMILは、各心エコー検査をインスタンスの集合（バッグ）として扱い、1つのスタディレベルのラベルを予測することを目的とする複数インスタンス学習（MIL）フレームワークを採用する。
• モデルは、インスタンスレベルで2次元シネループとスペクトルドプラ画像の表現を統合するマルチモダリティアテンションプーリング機構を用い、その後バッグレベルの表現に集約する。
• ラベルなしの5,386枚のスキャンを用いた疑似ラベル付けと一貫性正則化を適用することで、分類器のロバスト性を向上させる半教師あり学習戦略を採用する。
• 特徴量のモダリティ間整合性を高め、表現品質を向上させるために、対照的学習の目的関数を用いてエンドツーエンドで訓練する。
• インスタンスレベルの特徴量は、ビジョントランスフォーマーベースに依存して抽出され、診断的に関連のあるフレームを強調するアテンションベースのプーリングが適用される。
• 最終的な分類器は、ラベル付きデータと疑似ラベル付きラベルなしデータの両方を用いて訓練され、訓練の安定化を図るため、不確実性を考慮した損失重み付けが施される。

Figure 1: Overview of SMMIL . Top: Illustration of the SSL training workflow. In the first iteration, the model is trained on the labeled set. In all subsequent iterations, the model is trained on the union of the labeled set and the selected unlabeled subset by model from the previous iteration. Th

実験結果

リサーチクエスチョン

• RQ1 2次元シネループとスペクトルドプラを統合するマルチモダリティマルチインスタンス学習フレームワークは、単一モダリティモデルを上回る大動脈狭窄診断を実現できるか？
• RQ2 半教師あり学習を用いてラベルなし心エコー画像データを統合することで、リソースが限られた医療画像環境における診断性能がどの程度向上するか？
• RQ3 提案されたSMMILフレームワークは、3段階のAS重症度分類および2値AS検出タスクにおいて、最先端のモデルと比較してどのように差をつけるか？
• RQ4 市販の医療基礎モデルは、ファインチューニングなしで心エコー画像ベースのAS診断で良好な性能を発揮できるか？
• RQ5 ドプラ画像の追加が、2次元シネループのみのモデルと比較して診断精度を顕著に向上させるか？

主な発見

• SMMIL-IDは、TMED-2のAll 2Dバージョンで82.0％のバランス精度を達成し、前回のSOTA（SAMIL）を9.4ポイント上回った。
• SMMIL-VDは、ViewOnly 2Dバージョンで83.5％のバランス精度を達成し、最良の先行手法を10ポイント以上上回った。
• スペクトルドプラ画像の追加により、2Dのみのモデルと比較して平均バランス精度が9ポイント向上した。
• 半教師あり学習によるラベルなしデータの統合により、教師ありのみのベースラインと比較して、約4ポイントの精度向上が見られた。
• SMMIL-VDは、no vs. some AS検出タスクでAUROC 0.98を達成し、ABMIL や DSMIL を含むすべてのベースラインを上回った。
• 市販の医療基礎モデル（Med-Flamingo および Rad-FM）は、57％未満のバランス精度にとどまり、心エコー診断への直接適用はまだ不適切であることが示された。