[論文レビュー] Medical Image Segmentation on MRI Images with Missing Modalities: A Review

Reza Azad, Nika Khosravi+3 more|arXiv (Cornell University)|Mar 11, 2022

Advanced Neural Network Applications被引用数 24

ひとこと要約

本論文はMRI分割における欠損モダリティ戦略を整理し、方法を合成・共通潜在空間・知識蒸留・相互情報最大化・GANベースのアプローチに分類し、データセットと評価の議論を行う。

ABSTRACT

Dealing with missing modalities in Magnetic Resonance Imaging (MRI) and overcoming their negative repercussions is considered a hurdle in biomedical imaging. The combination of a specified set of modalities, which is selected depending on the scenario and anatomical part being scanned, will provide medical practitioners with full information about the region of interest in the human body, hence the missing MRI sequences should be reimbursed. The compensation of the adverse impact of losing useful information owing to the lack of one or more modalities is a well-known challenge in the field of computer vision, particularly for medical image processing tasks including tumour segmentation, tissue classification, and image generation. Various approaches have been developed over time to mitigate this problem's negative implications and this literature review goes through a significant number of the networks that seek to do so. The approaches reviewed in this work are reviewed in detail, including earlier techniques such as synthesis methods as well as later approaches that deploy deep learning, such as common latent space models, knowledge distillation networks, mutual information maximization, and generative adversarial networks (GANs). This work discusses the most important approaches that have been offered at the time of this writing, examining the novelty, strength, and weakness of each one. Furthermore, the most commonly used MRI datasets are highlighted and described. The main goal of this research is to offer a performance evaluation of missing modality compensating networks, as well as to outline future strategies for dealing with this issue.

研究の動機と目的

• 欠損したMRIモダリティの課題とそれが分割品質に与える影響を動機づける。
• MRI分割における欠損モダリティに対処する初期の手法と近年の手法を調査・分類する。
• 各アプローチの長所と短所および実務的な考慮事項を評価する。
• この研究領域で一般に用いられるMRIデータセットと評価指標を強調する。
• 実務での欠損モダリティ補償を改善するための今後の方向性と戦略を概説する。

提案手法

• 既存の手法を5つの主要カテゴリに分類する：合成モデル、共通潜在空間モデル、知識蒸留ネットワーク、相互情報最大化、生成的敵対的ネットワーク（GAN）。”
• 各カテゴリの代表的なアーキテクチャとトレーニング手法を説明する（例：REPLICA、HeMIS、HVED、ACN、RFNet）。
• 推定時に欠損モダリティがどのように扱われるか、共有表現または合成データを通じて利用可能なモダリティから情報をどう活用するかを論じる。
• 利点と欠点を比較する。複数のモダリティが欠損している場合や合成ベースのアプローチの安定性を含む。
• 欠損モダリティ分割法をベンチマークする際に使用されるデータセットと評価手法を要約する。

実験結果

リサーチクエスチョン

• RQ1 欠損MRIモダリティを分割タスクで補うための主な方法論的カテゴリは何か？
• RQ2 合成、共通潜在空間、蒸留、相互情報、GANベースのアプローチは、1つまたは複数のモダリティが欠如している場合の長所・短所・適用性の観点でどう比較されるか？
• RQ3 欠損モダリティ分割法を評価する際に最も一般的に用いられるデータセットと評価指標は何か？

主な発見

• 合成法は、合成モダリティが本質的な情報を捉えられない場合、分割の改善につながらないことがある。
• 共通潜在空間モデルはモダリティを共有表現に写像するが、複数のモダリティが欠落すると苦戦する。
• 知識蒸留は完全モダリティの教師から軽量な学生へ情報を転送するが、重要な領域知識が欠落する可能性がある。
• 相互情報最大化は情報損失を減らすことを目指すが、利用可能なモダリティの量と関連性に依存する。
• GANベースの戦略は現実的な欠損モダリティを生成できるが、訓練コストが高く潜在的な不安定性を伴う。
• このレビューは欠損モダリティMRI分割法の評価に一般的に用いられる複数のデータセットとベンチマークを論じている。