[論文レビュー] Limited Angle Tomography for Transmission X-Ray Microscopy Using Deep Learning

Yixing Huang, Shengxiang Wang+2 more|arXiv (Cornell University)|Jan 8, 2020

Medical Imaging Techniques and Applications参考文献 4被引用数 6

ひとこと要約

本論文は、機械的・物理的制約により回転角度が制限される条件下で、従来のフィルタードバックプロジェクション（FBP）が欠損データのため失敗する限られた角度からのデータから、3D透過X線顕微鏡（TXM）像を再構成する深層学習ベースの手法を提案する。合成の楕円体およびマルチカテゴリデータに現実的なノイズを含めて訓練されたU-Netは、アーチファクトを低減し、画像品質を著しく向上させ、合成データではRMSEをFBP比で54.5%低減し、SSIMを47.2%向上させ、実際のクロレラ細胞においても細胞小器官構造の明確な3D可視化を可能にした。

ABSTRACT

In transmission X-ray microscopy (TXM) systems, the rotation of a scanned sample might be restricted to a limited angular range to avoid collision to other system parts or high attenuation at certain tilting angles. Image reconstruction from such limited angle data suffers from artifacts due to missing data. In this work, deep learning is applied to limited angle reconstruction in TXMs for the first time. With the challenge to obtain sufficient real data for training, training a deep neural network from synthetic data is investigated. Particularly, the U-Net, the state-of-the-art neural network in biomedical imaging, is trained from synthetic ellipsoid data and multi-category data to reduce artifacts in filtered back-projection (FBP) reconstruction images. The proposed method is evaluated on synthetic data and real scanned chlorella data in $100^\circ$ limited angle tomography. For synthetic test data, the U-Net significantly reduces root-mean-square error (RMSE) from $2.55 imes 10^{-3}$ μm$^{-1}$ in the FBP reconstruction to $1.21 imes 10^{-3}$ μm$^{-1}$ in the U-Net reconstruction, and also improves structural similarity (SSIM) index from 0.625 to 0.920. With penalized weighted least square denoising of measured projections, the RMSE and SSIM are further improved to $1.16 imes 10^{-3}$ μm$^{-1}$ and 0.932, respectively. For real test data, the proposed method remarkably improves the 3-D visualization of the subcellular structures in the chlorella cell, which indicates its important value for nano-scale imaging in biology, nanoscience and materials science.

研究の動機と目的

• 機械的・物理的制約によりサンプルの回転角度が制限される状況下で、透過X線顕微鏡（TXM）における画像再構成の課題に対処すること。
• 特に複雑な生物学的サンプルにおいて、欠損データが原因で生じる深刻なアーチファクトと低品質な再構成を是正すること。
• 複雑な生物学的構造の実際のトレーニングデータが限られる中でも、一般化性能に優れた深層学習アプローチを開発すること。
• 放射光源を用いたTXMシステムの物理的条件を再現するため、現実的なノイズおよび吸収モデルを用いた合成データを用いて、ナノスケールイメージングにおける高精度な3D再構成を実現する。

提案手法

• 楕円体およびマルチカテゴリオブジェクトから生成した合成データを用いて、TXMに関連する多様な生物学的形状を模擬し、U-Netアーキテクチャをトレーニングする。
• 深層学習再構成の前に、測定されたプロジェクションデータにペナルティ付き重み付き最小二乗法（PWLS）を適用して入力品質を向上させる。
• 2段階アプローチを採用：まずRAWプロジェクションをPWLSでノイズ除去し、その後その出力をU-Netに供給して3Dボリュームをエンドツーエンドで再構成する。
• 放射光源ベースのTXMシステムの物理的状態を再現するため、現実的なノイズおよび減衰モデルを含む合成データを活用する。
• トレーニング中に予測された3Dボリュームと真値の間の平均二乗誤差（MSE）損失を最適化してU-Netを最適化する。
• 真値が既知の合成データおよび合肥のNSRL BL07Wビームラインから得た実際のクロレラデータの両方で、手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 合成データにのみトレーニングされた深層ニューラルネットワークが、最小限のアーチファクトで限られた角度からのプロジェクションから3D TXMボリュームを効果的に再構成できるか？
• RQ2 ペナルティ付き重み付き最小二乗法（PWLS）による前処理が、限られた角度トモグラフィーにおける深層学習ベース再構成の性能にどの程度向上効果をもたらすか？
• RQ3 U-Netベースの手法が、合成データおよび実データの両方において、RMSEおよびSSIMという観点から、従来のフィルタードバックプロジェクション（FBP）と定量的・定性的にどのように比較されるか？
• RQ4 深層学習ベース再構成が、FBP再構成で著しく歪みや欠損が生じる脂質小体や細胞壁などの微細な細胞小器官構造を回復できるか？
• RQ5 実際の生物学的サンプルにおける限られた角度とデータ切断の併存する問題が、深層学習再構成に及ぼす限界は何か？

主な発見

• 合成テストデータでは、U-NetによりRMSEがFBPの2.55×10⁻³ µm⁻¹から1.21×10⁻³ µm⁻¹に低下し、52.5%の改善が達成された。
• 構造的類似性（SSIM）インデックスはFBPの0.625からU-Netの0.920に上昇し、構造の忠実度が著しく向上した。
• PWLSによる前処理をU-Netの入力に適用したことで、RMSEはさらに1.16×10⁻³ µm⁻¹に低下し、SSIMは0.932に向上し、前処理の有効性が裏付けられた。
• 実際のクロレラデータでは、U-Netが細胞の上部および下部領域を正常に回復し、脂質小体をほぼ球形に再構成した。FBPでは歪みや欠損が生じていた。
• 3D可視化では、U-Net再構成が全平面で明確でアーチファクトのない細胞小器官構造の可視化を可能にした。一方、FBPは限られた冠状断面での分解能維持にとどまった。
• 改善が見られたものの、細胞壁のような構造は完全に再構成されておらず、ノイズ、データ不足、および深層学習モデルにおける過剰適合の可能性が残る課題であることが示された。