[논문 리뷰] Oral-3D: Reconstructing the 3D Bone Structure of Oral Cavity from 2D Panoramic X-ray

Weinan Song, Yuan Liang외 3명|arXiv (Cornell University)|2020. 03. 18.

Dental Radiography and Imaging참고 문헌 27인용 수 7

한 줄 요약

Oral-3D는 단일 2D 편평한 X선( PX) 영상에서 치열궁 전문 지식을 활용하여 구강 내 고해상도 3D 뼈 구조를 복원하기 위한 이단계적 딥러닝 프레임워크를 제안한다. 먼저 생성 모델을 통해 3D 볼륨을 생성하고, 이후 이를 곡선 형태의 하악 표면으로 변형시킨다. 이로 인해 형태 및 밀도 복원 측면에서 최신 기술 수준의 성능을 달성하였으며, 합성 데이터에서 PSNR는 19.22, Dice 점수는 71.28을 기록하였다.

ABSTRACT

Panoramic X-ray (PX) provides a 2D picture of the patient's mouth in a panoramic view to help dentists observe the invisible disease inside the gum. However, it provides limited 2D information compared with cone-beam computed tomography (CBCT), another dental imaging method that generates a 3D picture of the oral cavity but with more radiation dose and a higher price. Consequently, it is of great interest to reconstruct the 3D structure from a 2D X-ray image, which can greatly explore the application of X-ray imaging in dental surgeries. In this paper, we propose a framework, named Oral-3D, to reconstruct the 3D oral cavity from a single PX image and prior information of the dental arch. Specifically, we first train a generative model to learn the cross-dimension transformation from 2D to 3D. Then we restore the shape of the oral cavity with a deformation module with the dental arch curve, which can be obtained simply by taking a photo of the patient's mouth. To be noted, Oral-3D can restore both the density of bony tissues and the curved mandible surface. Experimental results show that Oral-3D can efficiently and effectively reconstruct the 3D oral structure and show critical information in clinical applications, e.g., tooth pulling and dental implants. To the best of our knowledge, we are the first to explore this domain transformation problem between these two imaging methods.

연구 동기 및 목표

• 콘두비트 CT(CBCT)에 비해 방사선 노출과 비용을 줄인 3D 치과 영상 촬영의 임상적 필요를 충족시키기 위해.
• 단일 2D 편평한 X선 영상에서 형태와 밀도를 포함한 세밀한 3D 뼈 구조를 복원하기 위해.
• 단일 시점 3D 복원의 본질적 모호성을 치열궁 곡선을 사전 지식으로 활용하여 극복하기 위해.
• 기본적인 PX 영상과 단순한 치열 내부 사진만을 사용하여 실용적인 임상 현장 적용이 가능한 프레임워크를 개발하기 위해.

제안 방법

• 2D PX에서 3D 볼륨으로의 차원 간 변환을 학습하기 위해 생성 모델을 훈련시키며, 밀도 정보를 유지한다.
• 생성 품질을 최적화하기 위해 적대적 손실(DL), 재구성 손실(RL), 투영 손실(PL)을 사용한다.
• 치열궁 곡선을 기하학적 사전 지식으로 활용하여 평탄한 3D 출력을 곡면으로 변형시키는 모듈을 설계한다.
• 형태 복원을 안내하기 위해 간단한 사진 기반 방법(예: β-함수 피팅)을 통해 치열궁을 추출한다.
• CBCT 스캔에서 자동으로 2D-3D 합성 데이터를 생성하여 모델 훈련 및 평가에 사용한다.
• 실제 환경 평가에서는 cycleGAN을 활용해 훈련 및 테스트용 PX 영상 간 색상 분포를 보정한다.

실험 결과

연구 질문

• RQ1 기존 3D 스캔이 없는 단일 2D 편평한 X선 영상에서 딥러닝 모델이 정확한 3D 뼈 구조를 복원할 수 있는가?
• RQ2 치열궁 사전 지식의 통합이 3D 형태 복원 정밀도 향상에 얼마나 효과적인가?
• RQ3 모델이 복원 과정에서 표면 형태와 허운스필드 단위 유사 밀도 정보를 어느 정도 유지할 수 있는가?
• RQ4 이중 단계 프레임워크가 형태 및 밀도 정확도 측면에서 종단 간 단일 시점 복원 기술보다 어떻게 비교되는가?
• RQ5 이미지 외관의 도메인 시프트가 존재하는 실제 임상용 PX 영상에 대해 모델이 일반화 가능한가?

주요 결과

• 모델에 모든 세 가지 손실(DL+RL+PL)을 적용한 경우 합성 데이터에서 PSNR는 19.22, SSIM는 78.27, Dice 점수는 71.28를 기록하였다.
• 절단 실험 결과 재구성 손실(RL)이 성능 향상에 가장 기여하며, 이어 적대적 손실(DL), 투영 손실(PL)은 최소한의 기여를 보였다.
• 실제 환경 데이터에서 이미지 도메인 시프트에도 불구하고 PSNR 17.36, SSIM 69.30, Dice 71.44를 유지하여 높은 임상 유용성을 확보하였다.
• 모델은 복원 과정에서 지식이 있는 치아와 부족한 치아를 정확히 식별하여 식립 계획 및 치아 제거에 임상적 관련성을 입증하였다.
• 변형 모듈은 하악의 해부학적 곡률에 맞춰 생성된 3D 볼륨을 정렬함으로써 형태 정확도를 크게 향상시켰다.
• 실제 PX 영상에서 밀도 정보가 감소한 상태에서도 개별 치아와 뼈 구조를 정확히 시각화할 수 있었다.