[論文レビュー] One-stage Shape Instantiation from a Single 2D Image to 3D Point Cloud

Xiao-Yun Zhou, Zhaoyang Wang+3 more|arXiv (Cornell University)|Jul 24, 2019

Medical Image Segmentation Techniques参考文献 12被引用数 4

ひとこと要約

本論文は、1枚の2次元MRI画像から直接3次元点群を予測する1段階型の深層学習フレームワークを提案する。PointOutNetとチェイムファーディスタンス損失を用い、27例の右心室被験者において平均PC-PC誤差1.72mmを達成した。これは、従来の2段階型のPLSRおよびKPLSR手法と同等の精度を示したが、完全な自動化とエンド・ツー・エンドの推論能力を備えている。

ABSTRACT

Shape instantiation which predicts the 3D shape of a dynamic target from one or more 2D images is important for real-time intra-operative navigation. Previously, a general shape instantiation framework was proposed with manual image segmentation to generate a 2D Statistical Shape Model (SSM) and with Kernel Partial Least Square Regression (KPLSR) to learn the relationship between the 2D and 3D SSM for 3D shape prediction. In this paper, the two-stage shape instantiation is improved to be one-stage. PointOutNet with 19 convolutional layers and three fully-connected layers is used as the network structure and Chamfer distance is used as the loss function to predict the 3D target point cloud from a single 2D image. With the proposed one-stage shape instantiation algorithm, a spontaneous image-to-point cloud training and inference can be achieved. A dataset from 27 Right Ventricle (RV) subjects, indicating 609 experiments, were used to validate the proposed one-stage shape instantiation algorithm. An average point cloud-to-point cloud (PC-to-PC) error of 1.72mm has been achieved, which is comparable to the PLSR-based (1.42mm) and KPLSR-based (1.31mm) two-stage shape instantiation algorithm.

研究の動機と目的

• リアルタイムの手術内ナビゲーションのための3次元形状生成において、手動セグメンテーションと2段階学習の必要性を排除すること。
• 中間の統計モデルを経由せずに、1枚の2次元画像を直接3次元点群にマッピングするエンド・ツー・エンドの深層学習パイプラインの開発。
• 従来のPLSRやKPLSRに依存する2段階手法と比較して、自動化と推論速度の向上。
• 27例の右心室被験者から成る臨床的データセット（609回の実験）を用いて手法の妥当性を検証し、最先端の手法と同等の精度を示すこと。

提案手法

• 19層の畳み込み層と3層の全結合層を持つPointOutNetを用い、1枚の2次元画像から直接3次元点群を回帰する。
• 点群予測の最適化にチェイムファーディスタンスを損失関数として採用し、予測点群と真値点群の間の平均最近接距離を測定する。
• 27例の右心室被験者から成るデータセット（609フレーム分の時間的経過データ）を用い、同期された2次元MRIと3次元メッシュデータを用いてモデルをエンド・ツー・エンドで訓練する。
• 汎化性能の評価にローブ・アウト交差検証を適用し、チェイムファーディスタンス損失の導入により、頂点対応の必要がない。
• 真値として3次元SSMベースのメッシュ表現を統合し、時間フレーム間で頂点数と接続性が一貫するように保証する。
• 事前に処理されたデータセットに依存しており、3次元メッシュは統計的形状モデルフレームワークを用いてアライメントおよびパラメータ化されている。

実験結果

リサーチクエスチョン

• RQ1 手動セグメンテーションが不要な1段階型の深層学習モデルは、PLSR や KPLSR のような2段階手法と同等の3次元形状予測精度を達成できるか？
• RQ2 チェイムファーディスタンス損失の使用は、頂点単位のL1/L2損失と比較して、3次元点群予測の品質と安定性にどのように影響するか？
• RQ3 特に収縮期終末および拡張期終末フレームにおける境界領域で、モデルの一般化性能はどの程度向上するか？
• RQ4 提案手法は、最小侵襲手術におけるリアルタイムの手術内ナビゲーションに適した完全自動でエンド・ツー・エンドの推論を可能にするか？
• RQ5 現在のアプローチの主な限界は何か。特に境界効果や損失関数の制約に関して。

主な発見

• 提案された1段階型手法は、27例の被験者全体で平均PC-PC誤差1.72mmを達成した。これは、2段階型のKPLSRベース手法（1.31mm）およびPLSRベース手法（1.42mm）と同等の精度であった。
• モデルは全収縮周期にわたり安定した性能を示し、誤差は一般的に1〜3mmの範囲内であったが、境界領域（収縮期終末および拡張期終末）では境界効果のためわずかに高くなった。
• チェイムファーディスタンス損失の使用により、安定した学習と収束が可能になった。一方、頂点単位のL1/L2損失では収束が悪く、予測が不安定になった。
• 手動セグメンテーションやハイパーパramータチューニング（例：KPLSRにおけるカーネル幅）の必要がなく、完全に自動化され、臨床応用に適したものとなった。
• 境界フレーム（例：収縮期終末および拡張期終末）では、トレーニングデータのカバー範囲が不足していたため誤差が高くなったが、実応用では全データを含めるため、これは将来的に解消される見込みである。
• 予測結果に頂点対応がないため、メッシュを生成するための追加の3次元再構成ステップが必要であり、これは対応ベース手法と比較して現在の限界である。