[논문 리뷰] 'Aariz: A Benchmark Dataset for Automatic Cephalometric Landmark Detection and CVM Stage Classification

Muhammad Anwaar Khalid, Kanwal Zulfiqar외 6명|arXiv (Cornell University)|2023. 02. 15.

Dental Radiography and Imaging인용 수 5

한 줄 요약

이 논문은 7종의 다양한 영상 장치에서 확보한 1,000장의 측면 뇌경화 영상으로 구성된 Aariz라는 새로운 벤치마크 데이터셋을 소개한다. 이 데이터셋은 29개의 해부학적 랜드마크(6개의 연조직 랜드마크 포함)와 경추 체중성숙도(CVM) 단계를 전문가가 검증한 annotation을 포함한다. 이 데이터셋은 자동화된 뇌경화 랜드마크 검출 및 CVM 분류를 위한 강력한 AI 모델 훈련을 가능하게 하며, 전문가 검증 annotation을 통해 CVM 단계 분류에서 96.6%의 상호 평가 일치도를 달성하였다.

ABSTRACT

The accurate identification and precise localization of cephalometric landmarks enable the classification and quantification of anatomical abnormalities. The traditional way of marking cephalometric landmarks on lateral cephalograms is a monotonous and time-consuming job. Endeavours to develop automated landmark detection systems have persistently been made, however, they are inadequate for orthodontic applications due to unavailability of a reliable dataset. We proposed a new state-of-the-art dataset to facilitate the development of robust AI solutions for quantitative morphometric analysis. The dataset includes 1000 lateral cephalometric radiographs (LCRs) obtained from 7 different radiographic imaging devices with varying resolutions, making it the most diverse and comprehensive cephalometric dataset to date. The clinical experts of our team meticulously annotated each radiograph with 29 cephalometric landmarks, including the most significant soft tissue landmarks ever marked in any publicly available dataset. Additionally, our experts also labelled the cervical vertebral maturation (CVM) stage of the patient in a radiograph, making this dataset the first standard resource for CVM classification. We believe that this dataset will be instrumental in the development of reliable automated landmark detection frameworks for use in orthodontics and beyond.

연구 동기 및 목표

• 정밀하고 포괄적이며 신뢰할 수 있는 데이터셋이 부족한 정형외과 분야에서 자동화된 뇌경화 랜드마크 검출 시스템을 훈련하기 위한 문제를 해결하기 위해.
• 기존 데이터셋의 한계인 부족한 영상 다양성, 연조직 랜드마크 부재, 단일 장치 영상 편향을 극복하기 위해.
• 임상적 치료 시기 결정에 중요한 요소인 경추 체중성숙도(CVM) 단계 분류를 위한 표준화된 자원을 제공하기 위해.
• 대규모 전문가가 검증한 데이터셋을 통해 수동 뇌경화 분석에서의 상호 및 내부 관찰자 간 변동성을 줄이기 위해.
• 다양한 해부학적 영상 장치에서 확보된 영상(다양한 해상도 포함)을 포함함으로써 임상 적용을 위한 신뢰성 있고 일반화 가능한 AI 모델 개발을 지원하기 위해.

제안 방법

• 데이터셋은 7종의 다른 영상 장치에서 확보한 총 1,000장의 측면 뇌경화 영상(LCRs)으로 구성되며, 각기 다른 해상도를 가진다.
• 임상 전문가들이 각 영상에 대해 총 29개의 뇌경화 랜드마크(15개의 뼈 랜드마크, 8개의 치아 랜드마크, 6개의 연조직 랜드마크)를 정밀하게 표기하였다.
• 경추 체중성숙도(CVM) 단계는 초급 전문가의 初기 표기 후 고급 정형외과 전문의가 검토하여 고도의 상호 평가 일치도를 확보하였다.
• 이중 단계의 표기 과정을 사용하였으며, 초급 정형외과 전문의가 초기 표기한 후, 모호한 경우에 대해 전문가가 검토하고 공감대를 형성하였다.
• 데이터 접근은 제한되어 있으며, 환자 개인정보 보호 및 법적 기준 준수를 위해 데이터 사용 및 기밀 유지 계약서(DUA)가 필요하다.
• 공개된 GitHub 저장소는 데이터 처리, 영상 증강(예: CLAHE, 언샤프 마스킹) 및 평가 지표를 위한 코드를 제공하여 재현 가능한 연구를 지원한다.

실험 결과

연구 질문

• RQ1 다양한 장치에서 확보된 대규모, 다각도의 영상 데이터셋이 자동화된 뇌경화 랜드마크 검출 모델의 일반화 능력과 정확도 향상에 기여할 수 있는가?
• RQ2 전문가 검증을 거친 CVM 단계 표기 데이터는 정형외과 분야에서 AI 기반 골격 성숙도 평가의 신뢰성 향상에 어느 정도 기여하는가?
• RQ3 공개 데이터셋에 연조직 랜드마크를 포함시킬 경우, 임상 뇌경화 분석에서 AI 시스템의 성능에 어떤 영향을 미치는가?
• RQ4 대규모 데이터셋에서 전문가 검증된 annotation을 사용할 경우, CVM 단계 분류에서 달성할 수 있는 상호 평가 일치도 수준은 어느 정도인가?
• RQ5 표준 영상 전처리 및 증강 기법은 Aariz와 같은 이질적인 데이터셋에서 훈련할 때 모델의 강인성 향상에 얼마나 효과적인가?

주요 결과

• 7종의 다른 영상 장치에서 확보한 총 1,000장의 측면 뇌경화 영상으로, 다양한 해상도와 영상 품질을 확보하여 높은 다양성을 확보하였다.
• 총 29개의 뇌경화 랜드마크(15개의 뼈 랜드마크, 8개의 치아 랜드마크, 6개의 연조직 랜드마크)가 임상 전문가에 의해 높은 정밀도로 표기되었다.
• 모든 1,000장의 영상에 대해 CVM 단계가 표기되어 Aariz는 CVM 단계 분류를 위한 첫 번째 공개 가능한 벤치마크 데이터셋이 되었다.
• CVM 단계 분류에서 상호 평가 일치도는 초급 전문가의 경우 36.3%에서 고급 전문가의 경우 96.6%로 향상되어 최종 annotation의 신뢰성을 확인하였다.
• 이 데이터셋은 철저한 접근 제어 조치를 통해 보호되며, 환자 개인정보 보호 및 윤리적 이용을 확보하기 위해 서명된 데이터 사용 및 기밀 유지 계약서(DUA)가 필요하다.
• 공개된 GitHub 저장소는 데이터 처리, 영상 증강, 평가 지표를 위한 코드를 제공하여 재현 가능하고 확장 가능한 연구를 가능하게 하였다.