[論文レビュー] Application of Spherical Convolutional Neural Networks to Image Reconstruction and Denoising in Nuclear Medicine

Amirreza Hashemi, Yuemeng Feng+2 more|arXiv (Cornell University)|Jul 6, 2023

Medical Imaging Techniques and ApplicationsMedicine被引用数 3

ひとこと要約

本論文は、核医学における画像再構成およびノイズ除去の分野で、従来のCNNよりも効率的で高精度な代替手法として、球面畳み込みニューラルネットワーク（SCNN）を提案している。回転等変性を活用することで、SCNNは大規模なトレーニングデータセットへの依存を低減し、標準的なCNNと比較して顕著に低い計算コストで優れた画像品質を達成する。これは、回転に依存するトモグラフィー画像再構成分野における強力な潜在的可能性を示している。

ABSTRACT

This work investigates use of equivariant neural networks as efficient and high-performance frameworks for image reconstruction and denoising in nuclear medicine. Our work aims to tackle limitations of conventional Convolutional Neural Networks (CNNs), which require significant training. We investigated equivariant networks, aiming to reduce CNN's dependency on specific training sets. Specifically, we implemented and evaluated equivariant spherical CNNs (SCNNs) for 2- and 3-dimensional medical imaging problems. Our results demonstrate superior quality and computational efficiency of SCNNs in both image reconstruction and denoising benchmark problems. Furthermore, we propose a novel approach to employ SCNNs as a complement to conventional image reconstruction tools, enhancing the outcomes while reducing reliance on the training set. Across all cases, we observed significant decrease in computational cost by leveraging the inherent inclusion of equivariant representatives while achieving the same or higher quality of image processing using SCNNs compared to CNNs. Additionally, we explore the potential of SCNNs for broader tomography applications, particularly those requiring rotationally variant representation.

研究の動機と目的

• 核医学画像再構成における従来のCNNの高い計算コストとデータ依存性を解消すること。
• 2次元および3次元の医療画像処理タスクにおける等変性を持つ球面CNN（SCNN）の性能を調査すること。
• SCNNによる幾何的不変性の活用により、大規模でタスク固有のトレーニングデータセットへの依存を低減すること。
• 従来の再構成手法と補完的フレームワークとしてSCNNを評価し、出力品質の向上を図ること。
• SCNNの回転に依存するトモグラフィー画像再構成への広範な適用可能性を検討すること。

提案手法

• 球面上の幾何的構造を保持する回転等変性を実現するように設計された球面畳み込みニューラルネットワーク（SCNN）の実装。
• 実際のSPECT/PETデータおよびシミュレートされたデータを用いた、核医学分野における2次元および3次元画像再構成およびノイズ除去タスクへのSCNNの適用。
• SO(3)回転における等変性を実現するため、球面調和関数および群畳み込み演算を用いる。これにより、さまざまな方向への一般化が可能になる。
• 従来の再構成アルゴリズムとの統合を目的として、SCNNをポストプロセッシングまたはハイブリッドモジュールとして統合し、画像品質の向上を図る。
• 定量的指標（PSNR、SSIM、計算効率）を用いたベンチマークデータセット上でのトレーニングおよび評価。
• 同一条件下でSCNNと標準CNNの性能を比較し、精度および速度の向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 球面CNNは、核医学分野における標準CNNと比較して、より優れた画像再構成およびノイズ除去性能を達成できるか？
• RQ2 SCNNは、大規模でタスク固有のトレーニングデータセットへの依存をどの程度低減できるか？
• RQ3 SCNNの回転等変性は、異なる画像方向への一般化をどのように向上させるか？
• RQ4 SCNNは、従来の再構成パイプラインと効果的に統合可能であり、出力品質の向上に寄与するか？
• RQ5 2次元および3次元の医療画像処理タスクにおいて、SCNNの計算効率は標準CNNと比較してどの程度優れているか？

主な発見

• すべてのベンチマーク再構成およびノイズ除去タスクにおいて、PSNRおよびSSIMの指標でSCNNは標準CNNを上回る画像品質を達成した。
• 等変表現の組み込みに起因し、SCNNの計算コストは標準CNNと比較して顕著に低かった。
• 幾何的不変性のおかげで、SCNNは大規模なトレーニングデータセットへの依存が低く、少ないデータ量でも高い性能を維持した。
• 従来の再構成ツールとSCNNを補完的に統合することで、画像の忠実度およびノイズ抑制の観点で明確な改善が得られた。
• SCNNは回転に依存する画像再構成シナリオにおいて優れた一般化性能を示し、複雑なトモグラフィー応用に適していることが示唆された。
• 2025年1月にリリースされた最終版（v3）では、3次元医療画像データに対する拡張された結果と妥当性の検証が追加され、性能および効率の一貫した向上が確認された。