[論文レビュー] DeepOrganNet: On-the-Fly Reconstruction and Visualization of 3D / 4D Lung Models from Single-View Projections by Deep Deformation Network

Yifan Wang, Zichun Zhong+1 more|arXiv (Cornell University)|Jul 22, 2019

3D Shape Modeling and Analysis参考文献 50被引用数 4

ひとこと要約

DeepOrganNet は、1枚の2次元医療画像（例：レントゲンまたは4D-CT）から、リアルタイムで高精度の多様体な3D/4D肺メッシュを再構築するディーブラーニングフレームワークです。学習された潜在記述子を用いた三変数テンソル積変形ネットワークを採用することで、リアルタイムかつ高精度な臓器モデリングを実現し、従来手法と比較して被曝線量と計算時間の両方を低減します。

ABSTRACT

This paper introduces a deep neural network based method, i.e., DeepOrganNet, to generate and visualize high-fidelity 3D / 4D organ geometric models from single-view medical image in real time. Traditional 3D / 4D medical image reconstruction requires near hundreds of projections, which cost insufferable computational time and deliver undesirable high imaging / radiation dose to human subjects. Moreover, it always needs further notorious processes to extract the accurate 3D organ models subsequently. To our knowledge, there is no method directly and explicitly reconstructing multiple 3D organ meshes from a single 2D medical grayscale image on the fly. Given single-view 2D medical images, e.g., 3D / 4D-CT projections or X-ray images, our end-to-end DeepOrganNet framework can efficiently and effectively reconstruct 3D / 4D lung models with a variety of geometric shapes by learning the smooth deformation fields from multiple templates based on a trivariate tensor-product deformation technique, leveraging an informative latent descriptor extracted from input 2D images. The proposed method can guarantee to generate high-quality and high-fidelity manifold meshes for 3D / 4D lung models. The major contributions of this work are to accurately reconstruct the 3D organ shapes from 2D single-view projection, significantly improve the procedure time to allow on-the-fly visualization, and dramatically reduce the imaging dose for human subjects. Experimental results are evaluated and compared with the traditional reconstruction method and the state-of-the-art in deep learning, by using extensive 3D and 4D examples from synthetic phantom and real patient datasets. The proposed method only needs several milliseconds to generate organ meshes with 10K vertices, which has a great potential to be used in real-time image guided radiation therapy (IGRT).

研究の動機と目的

• 従来の3D/4D CBCTイメージングでは、何百枚もの投影画像を必要とする高被曝線量と長時間の再構築時間を解消すること。
• 1枚の2次元画像から直接高精度な3D臓器メッシュを生成することで、後処理としてのセグメンテーションや再構築手順の不要化。
• 画像誘導放射線治療（IGRT）中に動的肺モデルをリアルタイムでオンザフライ可視化すること。
• 1枚のビュー入力から複数の臓器形状（例：左肺および右肺）を同時に再構築するディーブラーニングフレームワークの開発。
• 既存のディーブラーニング手法が非多様体または低品質なメッシュを生成するのに対し、形状の忠実性と多様体性の向上。

提案手法

• 本手法は、特徴エンコーダーブロック、独立した変形ブロック、空間配置（平行移動）ブロックという3つの主要な構成要素を持つエンドツーエンドのディープニューラルネットワークを採用。
• 複数の解剖的テンプレートからの滑らかで最適な変形を学習するために、三変数テンソル積変形技術（自由形式変形）を用いる。
• 入力の2次元投影画像から潜在記述子を抽出し、最も適切なテンプレートの選択と変形をガイド。
• テンプレート選択と変形場を同時に学習することで、複雑な患者特異的肺幾何形状の高精度な再構築を実現。
• 合成アーチファクトと実際の4D-CT患者データセットを用いて学習することで、多様な解剖的形状と呼吸相にわたる一般化を実現。
• 各呼吸相を個別に処理することで4D再構築をサポートし、将来的にはRNNやアテンションベースの拡張が可能。

実験結果

リサーチクエスチョン

• RQ1 ディーブラーニングモデルは、1枚の2次元医療画像から高精度の多様体な3D/4D肺メッシュを直接再構築可能か？
• RQ2 提案手法は、臨床用途に適したサブ秒の遅延でリアルタイム再構築（オンザフライ）を達成可能か？
• RQ3 本フレームワークは、1枚の入力画像から複数の臓器（例：左肺および右肺）を同時に再構築可能か？
• RQ4 形状の正確性とメッシュ品質の観点で、従来のFDKおよび最先端のディーブラーニング手法と比較して、本手法の性能はどのように異なるか？
• RQ5 複数投影によるCBCTに代えて単一投影イメージングを採用することで、被曝線量を顕著に低減可能であり、診断精度を維持できるか？

主な発見

• DeepOrganNet は、約10,000頂点の3D/4D肺メッシュを数ミリ秒で再構築し、リアルタイム性能を達成。
• 従来のFDK手法が数分を要する再構築時間を、4D各相あたり22ミリ秒未満に短縮し、IGRTにおけるオンザフライ可視化を可能に。
• 再構築されたメッシュは多様体であり、非多様体または不正な表面要素を生成する既存のディーブラーニング手法を上回る高精度。
• フレームワークは動的呼吸運動を的確に捉えており、アーチファクトおよび実患者データの呼気末相において、変形の大きさが正確に再現。
• 特に低投影数条件下でも、従来のFDKおよび最先端のディーブラーニングアプローチに比べ、優れた形状再構築精度を達成。
• 臨床応用の可能性を示しており、共同病院とでの公式臨床試験の実施が現在進行中。