[論文レビュー] Neural Radiance Fields in Medical Imaging: A Survey

Xin Wang, Chen, Yineng+4 more|arXiv (Cornell University)|Feb 26, 2024

Medical Imaging Techniques and Applications被引用数 8

ひとこと要約

本調査は医用画像への Neural Radiance Fields (NeRF) の適用を分析し、4つのコアな課題を概説し、臓器別の手法・データセット・指標をレビューし、将来の研究方向を提案する。

ABSTRACT

Neural Radiance Fields (NeRF), as a pioneering technique in computer vision, offer great potential to revolutionize medical imaging by synthesizing three-dimensional representations from the projected two-dimensional image data. However, they face unique challenges when applied to medical applications. This paper presents a comprehensive examination of applications of NeRFs in medical imaging, highlighting four imminent challenges, including fundamental imaging principles, inner structure requirement, object boundary definition, and color density significance. We discuss current methods on different organs and discuss related limitations. We also review several datasets and evaluation metrics and propose several promising directions for future research.

研究の動機と目的

• 医療画像におけるNeRFsの利用動機と関連する課題を特定する。
• 臓器タイプ別にNeRF手法を分類し、それらの制限とデータ要件を論じる。
• 医療NeRF研究で使用される公開データセットと評価指標をレビューする。
• ディテール、境界、カラー密度解釈、臨床統合を改善する将来の方向性を概説する。

提案手法

• 臓器別（膝、脳、心血管、頭蓋、歯、腹部、胸部）にNeRFの適用を分類して構造的課題を浮き彫りにする。
• MedNeRF、UMedNeRF、ACNeRF、mNeRF、SNAF、NAF などの特定の医療NeRF手法とそれらの訓練/最適化戦略を論じる。
• Digitally Reconstructed Radiographs (DRR) を用いたデータ生成と、対になるデータを模擬するDRRの役割を検討する。
• 医療NeRFで用いられる公開データセット（MedNeRF、NAF、PerX2CT、DIF-Net）と評価指標（PSNR、SSIM、FID、KID）をレビューする。
• データ品質、解像度、境界の曖昧さ、モダリティの一般化、解釈可能性などの制約を強調する。
• ディテール解像、境界の delineation、計算効率、個別化、先進技術との統合を含む将来の方向性を提案する。

実験結果

リサーチクエスチョン

• RQ1 医療データにNeRFを適用する際の主なイメージング原理と境界定義の課題は何か。
• RQ2 NeRFベースの手法は異なる解剖学的臓器や画像モダリティ間でどのように性能が異なるか。
• RQ3 医療NeRFを評価するために用いられる公開データセットと評価指標は何で、それらはどんな制約を示しているか。
• RQ4 DRR、強化学習、基盤モデルとの統合など、臨床環境でNeRFを進化させる将来の方向性は何か。

主な発見

• NeRFは2D医用画像から詳細な3D表現を提供し、放射線被曝と撮影時間を削減できる。
• 臓器別のNeRF手法は、希薄性、重複、血管・骨・軟組織の可視性といった固有の課題に直面する。
• 複数の専門モデル（MedNeRF、UMedNeRF、ACNeRF、mNeRF、SNAF、NAF）は整列・不確実性・スパースビュー再構成に対応するが、ハイパーパラメータのバランス取りが依然課題。
• DRRベースの合成X線は追加の患者曝露なしに対になりデータ訓練を可能にし、NeRF開発を支援する。
• 医療NeRFの公開データセットは成長しており（例：MedNeRF、NAF、PerX2CT、DIF-Net）、評価指標としてPSNR、SSIM、FID、KIDが用いられている。
• 本調査は、ディテールの向上、境界の delineation、カラー密度解釈、計算効率の改善、3Dガウシアン展開、強化学習、基盤モデルとの統合といった将来の方向性を概説する。