[論文レビュー] Simultaneous Super-Resolution and Cross-Modality Synthesis of 3D Medical Images using Weakly-Supervised Joint Convolutional Sparse Coding

Yawen Huang, Ling Shao+1 more|arXiv (Cornell University)|May 7, 2017

Advanced Image Processing Techniques参考文献 34被引用数 12

ひとこと要約

本稿では、MMD正則化と異種ドメインアライメント項を用いて、少数の登錾済みマルチモodalペアと非ペairedデータのみを活用し、同時に3D医療画像のスーパーレゾリューション（SR）とクロスモダリティ合成（CMS）を実現する弱教師付き連合畳み込みスパースコーディング手法WEENIEを提案する。本手法は、共有特徴空間においてフィルターパairedとマッピング関数を同時に最適化することで、局所的画像ネighborhoodを保持しながら、SRおよびSRCMSタスクで最先端の性能を達成する。

ABSTRACT

Magnetic Resonance Imaging (MRI) offers high-resolution \emph{in vivo} imaging and rich functional and anatomical multimodality tissue contrast. In practice, however, there are challenges associated with considerations of scanning costs, patient comfort, and scanning time that constrain how much data can be acquired in clinical or research studies. In this paper, we explore the possibility of generating high-resolution and multimodal images from low-resolution single-modality imagery. We propose the weakly-supervised joint convolutional sparse coding to simultaneously solve the problems of super-resolution (SR) and cross-modality image synthesis. The learning process requires only a few registered multimodal image pairs as the training set. Additionally, the quality of the joint dictionary learning can be improved using a larger set of unpaired images. To combine unpaired data from different image resolutions/modalities, a hetero-domain image alignment term is proposed. Local image neighborhoods are naturally preserved by operating on the whole image domain (as opposed to image patches) and using joint convolutional sparse coding. The paired images are enhanced in the joint learning process with unpaired data and an additional maximum mean discrepancy term, which minimizes the dissimilarity between their feature distributions. Experiments show that the proposed method outperforms state-of-the-art techniques on both SR reconstruction and simultaneous SR and cross-modality synthesis.

研究の動機と目的

• スキャン時間やコストの臨床的制約により、低分解能・単一モダリティスキャンから高分解能でマルチモーダルな3D MRIを生成する課題に対処すること。
• 大規模なラベル付きデータセットを必要とする教師あり手法の制限と、パッチベースの手法による統合の不一致を克服すること。
• 少数の登錾済み画像ペアと非ペairedデータのみを用いて、同時にスーパーレゾリューションとクロスモダリティ合成を可能にすること。
• 異なる解像度、モダリティ、ポーズの非均質的データを共通の特徴空間にアライメントさせることで表現学習を向上させること。
• パッチではなく全体画像ドメイン上で処理することで、局所的画像構造を保持し、空間的一致性を向上させること。

提案手法

• 本手法は、共有スパarsity制約を用いて、異なる画像ドメイン（例：T1、T2、PD MRI）間で統一された表現を学習する弱教師付き連合畳み込みスパースコーディング（WEENIE）を採用する。
• ソースドメインとターゲットドメイン間の対応関係を、ポーズ変化に対して不変となるように特定するため、異種ドメイン画像アライメント項を導入する。これにより、非ペaired画像の利用が可能になる。
• ペアドデータと非ペアドデータの特徴表現間の分布差を最小化するために、最大平均差分（MMD）項を用いた正則化を連合辞書学習プロセスに導入する。
• パッチではなく全体画像ドメイン上で処理することで、局所的ネighborhood構造を保持し、一貫性を向上させる。
• ソースモダリティ表現とターゲットモダリティ表現の間でマッピング関数を学習し、エンドツーエンドの合成とスーパーレゾリューションを可能にする。
• 本手法は、共通の特徴空間においてフィルターパairedとマッピング関数を同時に最適化することで、表現力とロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 少数の登錾済み画像ペアのみを用いて、弱教師付き手法が3D MRIにおいて高品質なスーパーレゾリューションとクロスモダリティ合成を達成できるか。
• RQ2 完全な登錾が不要な状況下で、異なる被験者およびモダリティからの非ペaired画像を効果的に活用し、表現学習を向上させることは可能か。
• RQ3 異種ドメインアライメント項を組み込むことで、多様な画像ドメイン間での対応関係学習がどの程度向上するか。
• RQ4 共有特徴空間においてフィルターパairedとマッピング関数を同時に最適化することで、パッチベースの手法と比較して局所的画像構造の保持がどの程度向上するか。
• RQ5 MMD正則化を統合することで、限定的ペアドデータと多様な非ペアドデータからの学習において、モデルのロバスト性と一般化性能が向上するか。

主な発見

• IXIデータセットにおいて、PD-w入力からのT2-w画像スーパーレゾリューションで最高のPSNR（37.77 dB）とSSIM（0.8634）を達成し、最先端の手法を上回る性能を示した。
• NAMICデータセットでは、T2-w入力からのT1-w画像合成でPSNR 29.04 dB、SSIM 0.9173を達成し、優れた性能を示した。
• 非ペairedデータを含む手法（WEENIE(reg)）は、MIMECSやV-USに比べて、特に白質構造や強度プロファイルの保持において優れた結果を示した。
• IXIおよびNAMICデータセットの全6つの実験群において、同時にスーパーレゾリューションとクロスモダリティ合成（SRCMS）を実行する状況で、WEENIEはMIMECS、V-US、V-Sを常に上回った。
• MMD正則化は、すべてのベンチマークでPSNRおよびSSIMに一貫した向上をもたらし、モデルのロバスト性と表現品質の向上を裏付けた。
• 可視化比較により、WEENIEは特に解剖的境界や灰色・白質の差別化において、競合手法よりもシャープなテクスチャとより正確な強度分布を生成することが確認された。