[論文レビュー] Symmetric-Constrained Irregular Structure Inpainting for Brain MRI Registration with Tumor Pathology

Xiaofeng Liu, Fangxu Xing+4 more|arXiv (Cornell University)|Jan 17, 2021

Medical Image Segmentation Techniques参考文献 40被引用数 7

ひとこと要約

本論文は、不規則な脳腫瘍を有する患者の脳MRIスキャンを健康な脳テンプレートに正確に可塑的登録可能にするために、対称性制約を施したマルチステップ画像穴埋めフレームワークを提案する。グローバルな文脈認識生成、ピクセル単位の特徴精錬、解剖学的対称性事前知識を組み合わせることで、腫瘍領域に現実的な組織構造を合成し、ベースライン手法に比べて登録性能を顕著に向上させる。

ABSTRACT

Deformable registration of magnetic resonance images between patients with brain tumors and healthy subjects has been an important tool to specify tumor geometry through location alignment and facilitate pathological analysis. Since tumor region does not match with any ordinary brain tissue, it has been difficult to deformably register a patients brain to a normal one. Many patient images are associated with irregularly distributed lesions, resulting in further distortion of normal tissue structures and complicating registration's similarity measure. In this work, we follow a multi-step context-aware image inpainting framework to generate synthetic tissue intensities in the tumor region. The coarse image-to-image translation is applied to make a rough inference of the missing parts. Then, a feature-level patch-match refinement module is applied to refine the details by modeling the semantic relevance between patch-wise features. A symmetry constraint reflecting a large degree of anatomical symmetry in the brain is further proposed to achieve better structure understanding. Deformable registration is applied between inpainted patient images and normal brains, and the resulting deformation field is eventually used to deform original patient data for the final alignment. The method was applied to the Multimodal Brain Tumor Segmentation (BraTS) 2018 challenge database and compared against three existing inpainting methods. The proposed method yielded results with increased peak signal-to-noise ratio, structural similarity index, inception score, and reduced L1 error, leading to successful patient-to-normal brain image registration.

研究の動機と目的

• 不規則な腫瘍領域によって引き起こされる構造的不一致のため、脳腫瘍患者と健常対照群の間で可塑的登録を実現する課題に対処すること。
• 脳解剖構造における文脈的および対称性事前知識を活用して、大規模で不規則な形状の腫瘍欠損部における画像穴埋めを改善すること。
• 欠損した腫瘍領域に意味的に妥当で解剖学的に整合性のある組織像を生成するマルチステージのディープラーニングフレームワークを開発すること。
• 穴埋め画像を変形場推定のための中間入力として用いることで、患者スキャンから正常脳への正確な登録を可能にすること。
• BraTS 2018データセットを用いて本手法を検証し、既存の穴埋めおよび登録ベースライン手法を上回る優れた性能を示すこと。

提案手法

• 本手法は3段階のフレームワークを採用する：粗い画像生成のためのグローバルパーセプション推論（GPI）、意味的関連性に基づく特徴レベルの精錬のための文脈認識ピクセル交換（CPS）、高精細再構成のための特徴から画像への変換器（F2I）。
• 特徴精錬段階に明示的な対称性制約を統合し、人間脳の準対称性を活用して構造的一致性と詳細回復を向上させる。
• GPIモジュールは敵対的訓練を用いたU-Netベースの生成器を用い、腫瘍領域における初期の妥当な組織コンテンツを生成する。
• CPSモジュールは微分可能なピクセルマッチング機構を用いて画像全体のピクセル単位の特徴マッチングを実行し、局所的なテクスチャを精錬し、空間的整合性を確保する。
• F2Iネットワークは敵対的損失、パーセプチュアル損失、サイクル整合性損失を用いて出力を精錬し、リアリズムと構造的忠実度を向上させる。
• 変形登録は、正規化相互相関を類似度指標として用いたANTs SyNアルゴリズムを用い、穴埋め済み患者画像と正常脳アトラスとの間で実行する。

実験結果

リサーチクエスチョン

• RQ1 文脈認識的でマルチステップの穴埋めフレームワークは、不規則な腫瘍領域における欠損脳組織を、解剖学的妥当性を保ちつつ効果的に再構築できるか？
• RQ2 脳の対称性を事前知識として組み込むことで、腫瘍影響下のMRIスキャンにおける画像穴埋めの品質と構造的正確性はどのように向上するか？
• RQ3 穴埋め画像を変形登録の入力として用いることで、直接登録と比較して腫瘍影響下と健常脳画像の間のアライメントは改善するか？
• RQ4 本手法は、既存の1段階穴埋め手法に比べて、画像品質および登録性能の面でどの程度優れているか？
• RQ5 対称性制約は、計算コストの増加や推論コストの上昇を最小限に抑えながら、穴埋め品質を向上させることができるか？

主な発見

• 対称性を用いた場合、BraTS 2018テストセットにおける平均L1誤差は254.8に低下し、ベースライン手法（Patch-match: 445.8、Partial Conv: 373.2）を著しく下回った。
• 構造的類似度指数（SSIM）は対称性ありで0.9682に達し、次に優れた手法（0.9512）を上回り、優れた構造保存性を示した。
• ピークサイナリオ比（PSNR）は対称性ありで34.52に向上し、画像忠実度の向上と歪みの低減を示した。
• インセプションスコアは対称性ありで10.58に上昇し、生成された組織テクスチャの品質と多様性の向上を示した。
• 登録済み脳ボリュームとアトラス間の相互情報量（MI）は、直接登録時の平均0.3097から、穴埋め登録時の0.3129に向上し、正常組織領域におけるより良いアライメントを確認した。
• アブレーションスタディにより、対称性制約が追加のテストコストを伴わず、穴埋め品質を向上させることを確認し、その効率性と有効性を示した。