[논문 리뷰] OralBBNet: Spatially Guided Dental Segmentation of Panoramic X-Rays with Bounding Box Priors

Devichand Budagam, Azamat Zhanatuly Imanbayev외 4명|arXiv (Cornell University)|2024. 06. 06.

Dental Radiography and Imaging인용 수 4

한 줄 요약

이 논문은 원추형 뼈 X-레이에서 치아의 인스턴스 세분화와 분류를 동시에 정확하게 수행하기 위한 새로운 이단계 딥러닝 프레임워크인 OralBBNet을 제안한다. 이는 YOLOv8을 사용해 바운딩 박스 검출을 수행하고, 수정된 U-Net(BB-UNet)을 사용해 치아의 인스턴스 세분화를 수행한다. YOLOv8 예측에서 유도된 공간 사전 지식을 활용함으로써, 표준 U-Net 대비 10–15% 향상된 DICE 계수를 달성했고, 치아 분류의 mAP는 3% 향상시켰다. 이는 고도로 복잡한 치아 구조, 예를 들어 대구치와 중구치에서 뛰어난 성능을 보여준다.

ABSTRACT

Teeth segmentation and recognition play a vital role in a variety of dental applications and diagnostic procedures. The integration of deep learning models has facilitated the development of precise and automated segmentation methods. Although prior research has explored teeth segmentation, not many methods have successfully performed tooth segmentation and detection simultaneously. This study presents UFBA-425, a dental dataset derived from the UFBA-UESC dataset, featuring bounding box and polygon annotations for 425 panoramic dental X-rays. In addition, this paper presents the OralBBNet architecture, which is based on the best segmentation and detection qualities of architectures such as U-Net and YOLOv8, respectively. OralBBNet is designed to improve the accuracy and robustness of tooth classification and segmentation on panoramic X-rays by leveraging the complementary strengths of U-Net and YOLOv8. Our approach achieved a 1-3% improvement in mean average precision (mAP) for tooth detection compared to existing techniques and a 15-20% improvement in the dice score for teeth segmentation over state-of-the-art (SOTA) solutions for various tooth categories and 2-4% improvement in the dice score compared to other SOTA segmentation architectures. The results of this study establish a foundation for the wider implementation of object detection models in dental diagnostics.

연구 동기 및 목표

• 낮은 대trast와 노이즈가 많은 원추형 X-레이에서 치아의 인스턴스 세분화와 분류를 동시에 정확하게 수행하는 문제를 해결한다.
• 모든 치아를 하나의 클래스로 간주하거나 복잡한 해부학적 변형에 대해 일반화하지 못하는 기존 방법의 한계를 극복한다.
• 공간 사전 지식(바운딩 박스)을 활용해 U-Net의 세분화 정확도를 향상시키며, 특히 농도가 높거나 열악한 상태의 치아 영역에서 유의미한 향상을 이룬다.
• YOLOv8의 빠른 추론 능력과 BB-UNet의 정밀한 세분화 성능을 융합해 임상 적용에 적합한 강력하고 효율적인 파이프라인을 개발한다.
• 고도로 정밀한 인스턴스 세분화 및 분류 작업을 지원하기 위해 다각형 및 바운딩 박스 레이블이 포함된 새로운 치과 데이터셋을 구축한다.

제안 방법

• 원추형 X-레이에서 개별 치아의 바운딩 박스를 예측하기 위해 YOLOv8을 단일 단계 객체 검출기로 활용하여 공간 사전 지식을 제공한다.
• YOLOv8의 예측된 바운딩 박스를 U-Net 아키텍처의 스킵 연결에 통합하여 특징 학습을 안내하고 정위치 정확도를 향상시킨다.
• 픽셀 수준의 세분화 성능을 최적화하기 위해 교차 엔트로피 손실과 DICE 손실을 함께 사용해 BB-UNet 모델을 엔드 투 엔드로 훈련한다.
• 희귀 클래스(예: 임플랜트 또는 심하게 손상된 치아)에 특히 유리하도록 데이터 증강 및 클래스 균형 기법을 적용해 일반화 능력을 향상시킨다.
• 제한된 치과 데이터에서 수렴성과 성능을 향상시키기 위해 전이 학습 및 미세 조정을 활용해 백본 네트워크를 초기화한다.
• 정확한 평가를 위해 바운딩 박스 및 다각형 레이블이 모두 포함된 425장의 원추형 X-레이로 구성된 새로 제작된 데이터셋에서 파이프라인의 성능을 평가한다.

Figure 1: FDI Teeth Numbering Notation

실험 결과

연구 질문

• RQ1 YOLOv8에서 유도된 바운딩 박스 사전 지식을 통합함으로써, U-Net 기반의 인스턴스 세분화 정확도가 원추형 치과 X-레이에서 크게 향상되는가?
• RQ2 다양한 치종 유형에서 BB-UNet의 성능은 표준 U-Net 및 Mask R-CNN, PANet와 같은 최신 기술 대비 어떻게 비교되는가?
• RQ3 YOLOv8가 예측한 바운딩 박스의 품질이 BB-UNet의 최종 세분화 성능에 얼마나 큰 영향을 미치는가?
• RQ4 충전물이 있거나 임플랜트가 있거나 심하게 열악한 상태인 치아와 같은 도전적인 케이스에서도 제안된 방법이 높은 성능을 유지하는가?
• RQ5 YOLOv8와 같이 경량의 단일 단계 검출 모델이 임상 치과 영상에서 고정밀도 세분화 정확도를 유지하면서도 더 빠른 추론을 가능하게 하는가?

주요 결과

• BB-UNet는 모든 치종 유형에서 표준 U-Net 대비 10–15% 향상된 DICE 계수를 달성했으며, 특히 대구치와 중구치에서 가장 높은 향상률을 보였다.
• 기존 방법 대비 치아 분류의 mAP가 3% 향상되어 뛰어난 분류 성능을 입증했다.
• YOLOv8는 mAP(72.9%)에서 Mask R-CNN, HTC, ResNeSt를 모두 능가했고, 특히 복잡하고 다양한 테스트 세트에서 AP50(94.6%)에서 동등하거나 슈퍼어리어를 기록했다.
• BB-UNet의 성능은 정확한 YOLOv8 예측에 크게 의존한다; 바운딩 박스 예측이 누락된 경우 성능은 U-Net 수준으로 저하되었으며, 이는 공간 사전 지식에 대한 의존성을 확인한다.
• Mask R-CNN 및 U-Net + Mask R-CNN와 비교해 유사한 세분화 성능를 달성했지만, 더 빠른 추론 속도를 기록해 실시간 임상 적용에 더 적합하다.
• 바운딩 박스 및 다각형 레이블이 모두 포함된 425장의 원추형 X-레이로 구성된 새로 제작된 데이터셋은 향후 치과 인스턴스 세분화 분야의 정확한 평가 및 벤치마킹을 가능하게 한다.