[論文レビュー] Oral-3D: Reconstructing the 3D Bone Structure of Oral Cavity from 2D Panoramic X-ray

Weinan Song, Yuan Liang+3 more|arXiv (Cornell University)|Mar 18, 2020

Dental Radiography and Imaging参考文献 27被引用数 7

ひとこと要約

Oral-3D は、歯列の事前知識を活用して、1枚の2次元パノラマレントゲン（PX）画像から高解像度の口腔内3次元骨構造を再構築する2段階のディーブラーニングフレームワークを提案する。まず生成モデルを用いて3次元ボリュームを生成し、その後、湾曲した下顎表面に変形させる。形状および密度再構築の両面で最先端の性能を達成し、合成データにおいてはPSNRが19.22、Diceスコアが71.28を記録した。

ABSTRACT

Panoramic X-ray (PX) provides a 2D picture of the patient's mouth in a panoramic view to help dentists observe the invisible disease inside the gum. However, it provides limited 2D information compared with cone-beam computed tomography (CBCT), another dental imaging method that generates a 3D picture of the oral cavity but with more radiation dose and a higher price. Consequently, it is of great interest to reconstruct the 3D structure from a 2D X-ray image, which can greatly explore the application of X-ray imaging in dental surgeries. In this paper, we propose a framework, named Oral-3D, to reconstruct the 3D oral cavity from a single PX image and prior information of the dental arch. Specifically, we first train a generative model to learn the cross-dimension transformation from 2D to 3D. Then we restore the shape of the oral cavity with a deformation module with the dental arch curve, which can be obtained simply by taking a photo of the patient's mouth. To be noted, Oral-3D can restore both the density of bony tissues and the curved mandible surface. Experimental results show that Oral-3D can efficiently and effectively reconstruct the 3D oral structure and show critical information in clinical applications, e.g., tooth pulling and dental implants. To the best of our knowledge, we are the first to explore this domain transformation problem between these two imaging methods.

研究の動機と目的

• コーンビームCT（CBCT）と比較して被ばく線量とコストを低減した3次元歯科画像診断の臨床的ニーズに対応すること。
• 1枚の2次元パノラマレントゲン画像から、形状と密度の両方を含む詳細な3次元骨構造を再構築すること。
• 単一視点からの3次元再構築に内在する曖昧性を、歯列の曲線を事前知識として活用することで克服すること。
• 標準的なPX画像と簡単な口腔内写真のみを用いて、実用的な臨床応用が可能なフレームワークを開発すること。

提案手法

• 2次元PXから3次元ボリュームへの次元間変換を学習する生成モデルを訓練し、密度情報の保持を図る。
• 生成品質を最適化するために、敵対的損失（DL）、再構築損失（RL）、投影損失（PL）を用いる。
• 歯列の曲線を幾何的事前知識として用いて、平坦化された3次元出力を湾曲した平面にマップする変形モジュールを導入する。
• 写真ベースの手法（例：β関数フィッティング）を用いて歯列を抽出し、形状回復を支援する。
• CBCTスキャンから自動的にペアド2次元-3次元合成データを生成し、モデルの訓練と評価に用いる。
• 実世界の評価では、cycleGANを用いて訓練用とテスト用PX画像間の色分布を一致させる。

実験結果

リサーチクエスチョン

• RQ1 1枚の2次元パノラマレントゲン画像から、3次元スキャンの事前情報なしに正確な3次元骨構造を再構築できるか？
• RQ2 歯列の事前知識を統合することで、3次元形状再構築の忠実度がどの程度向上するか？
• RQ3 再構築において、表面形状とHounsfield単位に類似した密度情報の両方をどの程度正確に保持できるか？
• RQ4 2段階フレームワークは、エンドツーエンドの単一視点再構築と比較して、形状および密度の再構築精度で優れているか？
• RQ5 画像の外観にドメインシフトが生じる実臨床のPX画像に対しても、モデルは一般化可能か？

主な発見

• 合成データにおいて、すべての損失（DL+RL+PL）を用いた場合、Oral-3D はPSNRが19.22、SSIMが78.27、Diceスコアが71.28を達成した。
• アブレーションスタディの結果、再構築損失（RL）が性能向上に最も寄与しており、次に敵対的損失（DL）が影響を及ぼし、投影損失（PL）は最小限の向上効果にとどまった。
• 実世界データでは、画像ドメインシフトの影響を受けても、PSNRが17.36、SSIMが69.30、Diceが71.44を維持し、高い臨床的有用性を示した。
• モデルは再構築において知覚歯や欠損歯を正しく同定できており、インプラント計画や抜歯の臨床的意義を示した。
• 変形モジュールにより、生成された3次元ボリュームが下顎の解剖学的湾曲と整合されるようになり、形状の正確性が顕著に向上した。
• 実世界のPX画像においても、密度の詳細が低下している状況でも、個々の歯や骨構造の正確な可視化が可能となった。