[論文レビュー] Differentiable Forward Projector for X-ray Computed Tomography

Hyojin Kim, Kyle Champley|arXiv (Cornell University)|Jul 11, 2023

Medical Imaging Techniques and Applications被引用数 5

ひとこと要約

本論文では、X線CT（XCT）のためのオープンソースで微分可能かつメモリ効率の良い前向きおよび逆投影ライブラリであるLEAPを紹介する。このライブラリは、最小限のGPUメモリ使用量でエンドツーエンドのディープラーニングパイプラインを実現する。分離可能なフットプリント（Separable Footprint）プロジェクターモデルを用いて、平行ビーム、コーンビーム、および任意の光源-検出器幾何構成をサポートし、限角およびスパarselyビューCT再構成において高い性能とデータの一貫性を達成。PSNRおよびSSIMの顕著な向上を実現している。

ABSTRACT

Data-driven deep learning has been successfully applied to various computed tomographic reconstruction problems. The deep inference models may outperform existing analytical and iterative algorithms, especially in ill-posed CT reconstruction. However, those methods often predict images that do not agree with the measured projection data. This paper presents an accurate differentiable forward and back projection software library to ensure the consistency between the predicted images and the original measurements. The software library efficiently supports various projection geometry types while minimizing the GPU memory footprint requirement, which facilitates seamless integration with existing deep learning training and inference pipelines. The proposed software is available as open source: https://github.com/LLNL/LEAP.

研究の動機と目的

• 測定されたプロジェクションと整合性を保ちながら、ディープラーニングベースのCT再構成において効率的で微分可能な前向きプロジェクションツールの不足に対処すること。
• 特に限角や少数ビューCTのような不適切に定義された問題において、エンドツーエンドのトレーニングおよび推論パイプラインにおけるGPUメモリ使用量を削減すること。
• 1つのスケーラブルなソフトウェアライブラリ内で、平行ビーム、コーンビーム、および任意の光源-検出器設定を含む複数の3次元CT幾何構成をサポートすること。
• トレーニングおよび推論の両方において、PyTorchベースのディープラーニングフレームワークへのシームレスな統合を可能にし、データ一貫性損失やシノグラム補完ワークフローを含めること。
• 既存の方法が事前計算された行列や幾何構造に特化したニューラルネットワークに依存するのとは対照的に、高精度でオープンソースの代替手段を提供すること。

提案手法

• ライブラリは、X線プロジェクションの正確かつ効率的な計算を可能にする分離可能なフットプリント（SF）プロジェクターモデルを用いた微分可能な前向きおよび逆プロジェクションを実装している。
• 主に3つの幾何構成をサポート：平行ビーム、コーンビーム、およびユーザー定義の光源-検出器ペア（任意の位置および方向）。
• PyTorchに基づくテンソルベースの演算により実装されており、ディープラーニングパイプラインへのネイティブ統合と自動微分を可能にしている。
• 大きなスパースなシステム行列を保存するのではなく、オンザフライでプロジェクション係数を計算することで、GPUメモリ使用量を最小限に抑えている。
• 予測されたボリュームを前向きプロジェクションし、測定されたシノグラムと比較することで、データ一貫性損失を用いたエンドツーエンドのトレーニングを可能にしている。
• 逆プロジェクション関数は反復的リファインメントおよびシノグラム補完をサポートしており、不適切に定義された再構成シナリオにおける画像品質を向上させている。

Figure 1: Overview of the proposed differentiable CT projector software architecture.

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのディープラーニングにおけるCT再構成をサポートするにあたり、最小限のGPUメモリ使用量で効率的に実装可能な微分可能な前向きプロジェクタは可能か？
• RQ2 提案された分離可能なフットプリントベースのプロジェクタは、さまざまなCT幾何構成において、既存の手法と比較してどの程度のパフォーマンスと正確性を示すか？
• RQ3 微分可能なプロジェクションによるデータ一貫性の統合は、限角および少数ビューCT再構成において、画像品質をどの程度向上させるか？
• RQ4 このソフトウェアライブラリを用いて、外部の再構成ツールを必要とせずに、シノグラム補完および反復的リファインメントのためのシームレスで統合されたパイプラインを構築できるか？
• RQ5 提案手法は、複雑または任意のスキャナ幾何構造を有する高解像度3次元CT再構成において、スケーラブルで実用的であるか？

主な発見

• 提案されたLEAPライブラリは、LTTソフトウェアツールと比較して、前向きプロジェクションで2.5倍から4倍の高速化を達成し、メモリ使用量も顕著に削減された。
• 限角CT実験では、LEAPを用いたデータ一貫性ステップにより、平均PSNRが35.486 dBから36.350 dBに、SSIMが0.905から0.911に向上した。
• ライブラリは、さまざまな画像サイズおよびプロジェクション数において一貫したパフォーマンスを示し、512³/180平行ビーム構成では前向きプロジェクションに1.5秒、1024³/720コーンビーム構成では11.1秒を要した。
• LEAPのメモリフットプリントは極めて小さく、32ビット浮動小数点数で1つのボリュームデータとプロジェクションデータを格納するのみで、このような操作の理論的最小値と一致した。
• 微分可能なプロジェクタはPyTorchワークフローへの有効な統合を可能にし、データ一貫性損失を用いたトレーニングおよび反復的リファインメントを伴う推論の両方をサポートした。
• 本手法はボクセルサイズや検出器サイズの変化に関わらず数値的正確性を維持し、再構成画像における正しいスケーリングと物理的一致性を保証した。

Figure 2: Model training and inference with our CT Projectors