[論文レビュー] Unsupervised Learnable Sinogram Inpainting Network (SIN) for Limited Angle CT reconstruction

Ji Zhao, Zhiqiang Chen+2 more|arXiv (Cornell University)|Nov 9, 2018

Medical Imaging Techniques and Applications参考文献 30被引用数 21

ひとこと要約

本論文は、畳み込みニューラルネットワーク（CNN）に基づく自己教師ありsinogram補間ネットワーク（SIN）を提案する。この手法は、可微分なラドン／逆ラドン変換トランスフォーマを用いて、sinogram補間と画像再構成を同時に最適化することで、教師ありデータが不要な高精度な限界角度CT再構成を実現する。肺CTデータにおいて、PSNR（33.86 dB）とSSIM（0.9781）の最先端性能を達成しており、1枚あたり256×256の画像の推論時間は0.3秒未満である。

ABSTRACT

In this paper, we propose a sinogram inpainting network (SIN) to solve limited-angle CT reconstruction problem, which is a very challenging ill-posed issue and of great interest for several clinical applications. A common approach to the problem is an iterative reconstruction algorithm with regularization term, which can suppress artifacts and improve image quality, but requires high computational cost. The starting point of this paper is the proof of inpainting function for limited-angle sinogram is continuous, which can be approached by neural networks in a data-driven method, granted by the universal approximation theorem. Based on this, we propose SIN as the fitting function -- a convolutional neural network trained to generate missing sinogram data conditioned on scanned data. Besides CNN module, we design two differentiable and rapid modules, Radon and Inverse Radon Transformer network, to encapsulate the physical model in the training procedure. They enable new joint loss functions to optimize both sinogram and reconstructed image in sync, which improved the image quality significantly. To tackle the labeled data bottleneck in clinical research, we form a sinogram-image-sinogram closed loop, and the difference between sinograms can be used as training loss. In this way, the proposed network can be self-trained, with only limited-angle data for unsupervised domain adaptation. We demonstrate the performance of our proposed network on parallel beam X-ray CT in lung CT datasets from Data Science Bowl 2017 and the ability of unsupervised transfer learning in Zubal's phantom. The proposed method performs better than state-of-art method SART-TV in PSNR and SSIM metrics, with noticeable visual improvements in reconstructions.

研究の動機と目的

• データ不足による深刻なストリークアーチファクトを引き起こす限界角度CT再構成の課題に対処すること。
• SART-TVのような従来の反復的手法が計算コストが高く、コマーシャルのようなアーチファクトを引き起こすという制限を克服すること。
• 臨床的CT応用におけるラベル付きデータのボトルネックを軽減するため、自己教師あり学習を可能にする深層学習フレームワークの構築。
• 物理的制約（ラドン変換）を学習可能で可微分なアーキテクチャに統合し、エンドツーエンドの学習中にデータ整合性を保証すること。
• sinogram空間と画像空間の間で誤差逆伝播をクロスドメインで行うことで、再構成の精度と一貫性を向上させること。

提案手法

• 不完全なプロジェクションデータから欠損領域を予測するための、U-NetベースのCNNで構成されるsinogram補間ネットワーク（SIN）を提案する。
• 物理的プロジェクションモデルをネットワークに埋め込むために、可微分なラドンおよび逆ラドン変換トランスフォーマモジュールを導入する。
• データ整合性を強制するために、sinogram補間と再構成画像品質の両方を同時に最適化する共同損失関数を設計する。
• 再構成済みsinogramと元のsinogramの差分を損失信号として用いる、自己教師ありのsinogram-画像-sinogramの閉ループ学習戦略を実装する。
• ペairedの真値sinogram-画像データを必要とせず、限界角度sinogramのみを用いて弱教師あり学習を実施する。
• 汎用近似定理を用いて、深層ネットワークが限界角度sinogramの連続的補間関数を学習可能であることを正当化する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、構造的整合性を保ちながら、限界角度sinogramの大きな欠損領域を効果的に補間できるか？
• RQ2 ラドン変換といった物理的制約を、可微分な深層学習フレームワークに統合することで、再構成精度とデータ整合性を向上させられるか？
• RQ3 自己教師あり学習パラダイムにより、限界角度CT再構成においてペアラベル付きデータの必要性を排除できるか？
• RQ4 可微分なプロジェクション／バックプロジェクションを介したsinogramと画像ドメインの共同最適化は、従来手法に比べてより優れたアーチファクト抑制を実現するか？
• RQ5 微調整なしに、解剖的構造（例：肺とフィジカル・フォント）を跨いで一般化できるか？　これにより、強力な自己教師ありドメイン適応能力が示せるか？

主な発見

• 提案されたSIN手法は、Data Science Bowl 2017の肺CTデータセットにおいて、PSNR 33.86 dB、SSIM 0.9781を達成し、SART-TV（25.23 dB、0.9088）を著しく上回った。
• Zubalのフィジカル・フォントデータセットでは、PSNR 36.33 dB、SSIM 0.9838を達成し、優れた一般化性能と自己教師あり適応能力を示した。
• SART-TVが全変動正則化による画素値が一定のコマーシャルのようなアーチファクトを引き起こすのに対し、本手法はストリークアーチファクトをより効果的に低減した。
• 再構成時間は256×256の画像1枚あたり0.3秒未満であり、SART-TVのような反復的手法に比べて著しく高速であった。
• Zubalのフィジカル・フォント上で自己教師あり微調整を施すことで、過学習によるアーチファクトが低減し、エッジが鋭くなるが、画像品質に劣化は見られなかった。
• 自己教師あり閉ループ学習戦略により、ペアラベル付きデータが一切不要な状況下でも効果的なモデル適応が可能であり、臨床的CTにおける自己教師ありドメイン適応の実現可能性が裏付けられた。