[論文レビュー] MedNeRF: Medical Neural Radiance Fields for Reconstructing 3D-aware CT-Projections from a Single X-ray

Abril Corona-Figueroa, Jonathan Frawley+4 more|arXiv (Cornell University)|Feb 2, 2022

Medical Imaging Techniques and Applications被引用数 5

ひとこと要約

本論文では、修正された生成的レーダンスフィールド（GRAF）アーキテクチャを用いて、1枚のレントゲン画像から3次元認識可能なCTプロジェクションを再構築する深層学習モデル、MedNeRFを提案する。自己教師付きディスクライマと新規の損失関数・アーキテクチャを活用することで、3次元の監視なしに解剖学的構造の連続的ボリューム表現を学習し、放射線被曝の可能性を低減しつつ、高精細なCTプロジェクションのレンダリングで最先端の性能を達成した。

ABSTRACT

Computed tomography (CT) is an effective medical imaging modality, widely used in the field of clinical medicine for the diagnosis of various pathologies. Advances in Multidetector CT imaging technology have enabled additional functionalities, including generation of thin slice multiplanar cross-sectional body imaging and 3D reconstructions. However, this involves patients being exposed to a considerable dose of ionising radiation. Excessive ionising radiation can lead to deterministic and harmful effects on the body. This paper proposes a Deep Learning model that learns to reconstruct CT projections from a few or even a single-view X-ray. This is based on a novel architecture that builds from neural radiance fields, which learns a continuous representation of CT scans by disentangling the shape and volumetric depth of surface and internal anatomical structures from 2D images. Our model is trained on chest and knee datasets, and we demonstrate qualitative and quantitative high-fidelity renderings and compare our approach to other recent radiance field-based methods. Our code and link to our datasets are available at https://github.com/abrilcf/mednerf

研究の動機と目的

• 従来のCTスキャンに伴う高い線量被曝を低減するため、少ないレントゲン投影からの3次元再構築を可能にすること。
• 標準NeRFが医療画像分野で抱える限界、例えば動きアーチファクト、重なった構造、3次元監視の欠如を克服すること。
• ペアドCTスキャンを必要とせず、2次元のデジタル再構成レントゲン（DRR）から連続的で3次元認識可能なCT解剖学的構造の表現を学習すること。
• 自己教師付き敵対的ディスクライマを用いて、スパarselyビューおよび単一ビュー設定における再構築の精細度とボリューム深度推定を向上させること。
• 低被曝医療応用における臨床的潜在的可能性を、低被曝イメージング、整形外科学研究、骨格評価の観点から示すこと。

提案手法

• モデルは20例の胸部CTおよび5例の膝関節CTスキャンを用いて訓練され、5°間隔で72枚のDRR（合成的に生成）が、多角度レントゲン投影を模擬するために使用された。
• 修正されたGRAFベースのジェネレータは、座標に基づくニューラルネットワークを用いて、2次元DRRから吸収率およびボリューム深度の連続的3次元表現を学習する。
• 新規なアーキテクチャを有する自己教師付きディスクライマが、解剖学的形状と背景を分離し、深度推定を向上させる強力で包括的なフィードバックを提供する。
• ハング損失と微分可能敵対ジェネレータ（DAG）を用いることで、特徴学習を強化し、モード崩壊を低減する。
• 敵対的損失、知覚的損失、およびL1損失の組み合わせを用いて、エンドツーエンドで訓練することで、微細な解剖学的詳細と吸収応答を保持する。
• 明示的な投影行列は使用せず、3次元表現を通じて幾何学的構造を暗黙的に学習し、1枚の入力レントゲン画像からのビュー合成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 神経レーダンスフィールドモデルは、3次元監視なしに1枚のレントゲン画像から高精細な3次元認識可能なCTプロジェクションを再構築できるか？
• RQ2 自己教師付きディスクライマは、標準GANと比較して、医療用NeRFにおけるボリューム深度および吸収率レンダリングをどのように改善するか？
• RQ3 MedNeRFは、最小限の監視で多様な解剖学的構造（例：胸部 vs. 膝関節）にどれほど一般化可能か？
• RQ4 画像の精細度および構造的詳細の観点から、MedNeRFは、pixelNeRF や GRAF といった既存のNeRFベースの手法と定量的・定性的にどのように比較されるか？
• RQ5 医療用DRRの透過性および重なった構造の影響を受けても、モデルは一貫した幾何学的形状を維持し、アーチファクトを低減できるか？

主な発見

• 胸部データセットでは、MedNeRFがFID（60.26 ± 0.322）およびKID（0.041 ± 0.0005）で最も低く、GRAFおよびpixelNeRFを上回った。
• 膝関節データセットでは、MedNeRFがFID（76.12 ± 0.193）およびKID（0.052 ± 0.0004）を達成し、pixelNeRF（FID: 166.40 ± 2.153）を著しく上回り、GRAFと同等の性能を示しながらも、詳細の改善を実現した。
• アブレーションスタディの結果、ハング損失を用いたDAGベースのディスクライマが最良の性能を示し、ベースラインと比較してFIDを12.5%低減した。
• MedNeRFは、より鋭い吸収率マップを生成し、形状と背景の分離が良好で、解剖学的構造には濃い色、背景には明るい色を割り当てた。これは、GRAFが両者に類似した強度でレンダリングするのとは対照的である。
• pixelNeRFはDRRの透過性の影響により著しいぼやけや色のずれを示したが、MedNeRFは、複数のビューにわたり一貫した幾何学的形状と微細な解剖学的詳細を維持した。
• 本モデルは、1枚のレントゲン入力から妥当な3次元認識可能なCTプロジェクションを効果的に再構築でき、低被曝臨床応用の可能性を示した。