[論文レビュー] Implicit Neural Representation in Medical Imaging: A Comparative Survey

Amirali Molaei, Amirhossein Aminimehr+5 more|arXiv (Cornell University)|Jul 30, 2023

Medical Imaging Techniques and Applications被引用数 6

ひとこと要約

本サーベイは、画像再構成、セグメンテーション、レジストレーションなどのタスクにおける医用画像における暗黙的ニューラル表現（INRs）の応用を包括的に分析している。ニューラルネットワークを用いて医用信号を連続関数としてパrameter化することにより、INRsは解像度に依存しない、メモリ効率が良く、微分可能である表現を提供し、不適切に定義された医用画像問題の処理において、従来の離散的手法を凌駕する。

ABSTRACT

Implicit neural representations (INRs) have gained prominence as a powerful paradigm in scene reconstruction and computer graphics, demonstrating remarkable results. By utilizing neural networks to parameterize data through implicit continuous functions, INRs offer several benefits. Recognizing the potential of INRs beyond these domains, this survey aims to provide a comprehensive overview of INR models in the field of medical imaging. In medical settings, numerous challenging and ill-posed problems exist, making INRs an attractive solution. The survey explores the application of INRs in various medical imaging tasks, such as image reconstruction, segmentation, registration, novel view synthesis, and compression. It discusses the advantages and limitations of INRs, highlighting their resolution-agnostic nature, memory efficiency, ability to avoid locality biases, and differentiability, enabling adaptation to different tasks. Furthermore, the survey addresses the challenges and considerations specific to medical imaging data, such as data availability, computational complexity, and dynamic clinical scene analysis. It also identifies future research directions and opportunities, including integration with multi-modal imaging, real-time and interactive systems, and domain adaptation for clinical decision support. To facilitate further exploration and implementation of INRs in medical image analysis, we have provided a compilation of cited studies along with their available open-source implementations on \href{https://github.com/mindflow-institue/Awesome-Implicit-Neural-Representations-in-Medical-imaging}. Finally, we aim to consistently incorporate the most recent and relevant papers regularly.

研究の動機と目的

• 画像再構成、セグメンテーション、レジストレーションなどの医用画像タスクにおける暗黙的ニューラル表現（INRs）の応用を体系的かつ包括的にレビューすること。
• 医用データの文脈において、解像度に依存しない表現、メモリ効率、微分可能性といったINRsの利点を分析すること。
• 計算複雑性、データ不足、動的シーンのモデリングといった、医用INR応用における主な課題を特定すること。
• マルチモodal画像処理、リアルタイムシステム、臨床意思決定支援のためのドメイン適応といった、未解決の研究課題を強調すること。
• 調査対象のINR手法のオープンソース実装を収集・リンクし、再現可能性とさらなる研究を支援すること。

提案手法

• 2021–2023年の間の64篇の研究論文をサーベイし、医用画像タスクにおけるINR応用のトレンドをマップすること。
• SIRENベースやNeRFベースなどの設計、および3次元再構成や新規ビュー合成などの応用分野別にINRアーキテクチャを分類すること。
• 特に高周波数の医用信号表現において、スペクトルバイアスを軽減するためのフーリエ特徴エンコーディングの使用を分析すること。
• 画像レジストレーションなどのタスクにおいて、正則化（例：ヤコビアン、曲げエネルギー）を最適化可能にする、微分可能な連続関数の役割を評価すること。
• ボクセルグリッドやポイントクラウドなどの従来の離散的表現と比較し、メモリ使用量と再構成忠実度の観点からINRの性能を評価すること。
• 引用文献から得られるINR手法のオープンソース実装を分類・要約し、再現可能性とツール開発を支援すること。

Figure 1: Chart (a) visually displays the relative proportions of published papers according to their application, and chart (b) illustrates the count of published papers based on INR design in medical tasks during different time periods (with ”H” indicating the first or second half of the year). Th

実験結果

リサーチクエスチョン

• RQ1 従来の離散的表現と比較して、暗黙的ニューラル表現（INRs）は医用画像再構成においてどのように性能を向上させるか？
• RQ2 医用画像タスクにおけるINR性能を向上させる主なアーキテクチャ選択（例：活性化関数、入力エンコーディング）は何か？
• RQ3 臨床現場における限られたデータ、低線量スキャン、動的解剖的運動の課題に対して、INRsはどのように対処するか？
• RQ4 リアルタイムまたは臨床意思決定支援システムへのINRsの導入における主な計算的・実用的障壁は何か？
• RQ5 マルチモーダル画像処理、動画ベース再構成、インタラクティブな医用可視化をサポートするために、INRsはどのように拡張できるか？

主な発見

• INRsは解像度に依存しない信号表現を実現し、メモリコストを増加させることなく、任意の解像度で高品質な再構成が可能である。
• フーリエ特徴とSIREN活性化関数の使用により、スペクトルバイアスが顕著に低減され、3次元医用スキャンにおける微細な解剖的詳細の再構成性能が向上する。
• ボクセルベースやグリッドベースの表現と比較して、INRsは優れたメモリ効率を達成しており、解像度ではなく信号の複雑さに比例してスケーリングされる。
• 微分可能なINRsは画像レジストレーションなどのタスクにおいて、ハイパーエラスティシティや曲げエネルギーといった物理的制約の統合を可能にする、高度な正則化をサポートする。
• 利点がある一方で、3次元医用ボリュームのINR学習は依然として計算コストが高く、モデルの深さや入力次元の増加に伴い、学習時間が著しく延長される。
• 医用画像分野におけるINR手法のオープンソース実装が急速に増加しており、再現可能性を高め、分野の研究を加速させる要因となっている。

Figure 2: The figure illustrates various modifications to alleviate the spectral bias problem in INRs, provides an overview of their underlying principles, and introduces NeRF as an additional background method, as discussed in section 2 .