[논문 리뷰] OdontoAI: A human-in-the-loop labeled data set and an online platform to boost research on dental panoramic radiographs

Bernardo Silva, Laís Pinheiro외 7명|arXiv (Cornell University)|2022. 03. 29.

Dental Radiography and Imaging인용 수 4

한 줄 요약

OdontoAI는 4,000장의 치과 패널로라디오그래프에 대한 인스턴스 세분화와 치아 번호 매기기를 포함한 대규모, 인간이 개입하는(HITL) 레이블링 데이터셋을 소개한다. 이는 레이블링 시간을 51% 감소시켜 약 390시간의 시간 절감을 이룬다. 본 연구는 또한 치과 패널로라디오그래프 분석을 위한 첫 번째 벤치마크 플랫폼인 OdontoAI 온라인 플랫폼을 제시하여 딥러닝 모델의 세분화 및 치아 번호 매기기 작업에 대한 표준화된 평가를 가능하게 한다.

ABSTRACT

Deep learning has remarkably advanced in the last few years, supported by large labeled data sets. These data sets are precious yet scarce because of the time-consuming labeling procedures, discouraging researchers from producing them. This scarcity is especially true in dentistry, where deep learning applications are still in an embryonic stage. Motivated by this background, we address in this study the construction of a public data set of dental panoramic radiographs. Our objects of interest are the teeth, which are segmented and numbered, as they are the primary targets for dentists when screening a panoramic radiograph. We benefited from the human-in-the-loop (HITL) concept to expedite the labeling procedure, using predictions from deep neural networks as provisional labels, later verified by human annotators. All the gathering and labeling procedures of this novel data set is thoroughly analyzed. The results were consistent and behaved as expected: At each HITL iteration, the model predictions improved. Our results demonstrated a 51% labeling time reduction using HITL, saving us more than 390 continuous working hours. In a novel online platform, called OdontoAI, created to work as task central for this novel data set, we released 4,000 images, from which 2,000 have their labels publicly available for model fitting. The labels of the other 2,000 images are private and used for model evaluation considering instance and semantic segmentation and numbering. To the best of our knowledge, this is the largest-scale publicly available data set for panoramic radiographs, and the OdontoAI is the first platform of its kind in dentistry.

연구 동기 및 목표

• 딥러닝 연구에서 대규모이고 일관성 있는 치과 패널로라디오그래프 데이터셋의 부족 문제를 해결하기 위해.
• 딥러닝 예측 결과를 일시적 레이블로 활용하는 인간이 개입하는(HITL) 워크플로우를 도입하여 레이블링 시간과 비용을 절감하기 위해.
• 치과 영상 분석 분야에서 딥러닝 모델의 평가 및 비교를 표준화하기 위해 공개 벤치마크 플랫폼인 OdontoAI를 구축하기 위해.
• 다중 라운드의 HITL 반복 보완을 통해 인간 전문가가 모델 예측 결과를 검토하고 수정함으로써 모델 성능을 향상시키기 위해.
• 정밀한 치아 세분화, 번호 매기기, 그리고 임플란트 및 보철물과 같은 치과 해부학적 구조물의 탐지에 대한未래 연구를 지원하기 위해.

제안 방법

• 초기 모델 예측 결과를 인간 치과의사가 검토하고 수정하는 인간이 개입하는(HITL) 파이프라인을 활용하여, 레이블링되지 않은 영상에 대한 예측을 검증하였다.
• 딥 네트워크(예: HTC, Mask R-CNN, Cascade R-CNN)를 사용하여 레이블링되지 않은 영상에 대한 초기 세분화 및 번호 매기기 예측을 생성하였다.
• 반복적인 HITL 사이클을 수행: 검증된 데이터로 모델을 훈련하고, 새로운 예측 결과를 생성한 후, 다시 검증 과정을 반복함으로써 레이블 품질과 모델 성능을 향상시켰다.
• OdontoAI 온라인 플랫폼에서 학습용으로 2,000장의 이미지를 공개 레이블로, 평가용으로 2,000장의 이미지를 비공개 레이블로 공개하였다.
• mAP, 정확한 매칭, 마이크로 정밀도, 마이크로 재현율, 하미ング 손실 등의 지표를 포함한 종합적인 벤치마크 시스템을 OdontoAI 플랫폼에 구현하였다.
• 임상 진단 요구사항과 부합하기 위해 치아의 세분화된 레이블링, 특히 인스턴스 세분화와 정확한 번호 매기기를 중심으로 집중하였다.

실험 결과

연구 질문

• RQ1 인간이 개입하는(HITL) 접근 방식이 치과 패널로라디오그래프 레이블링 과정에서 레이블링 시간과 노력을 얼마나 줄일 수 있는가?
• RQ2 반복적인 HITL 보완 과정이 치아 인스턴스 세분화 및 번호 매기기 작업에서 딥러닝 모델의 성능에 어떤 영향을 미치는가?
• RQ3 모델 예측 레이블을 일시적 레이블로 사용할 경우, 최종 레이블의 품질과 일관성에 어떤 영향을 미치는가?
• RQ4 최신 기술 모델들(예: HTC, Mask R-CNN)이 새로운 OdontoAI 벤치마크 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ5 OdontoAI 플랫폼이 치과 패널로라디오그래프 분석 분야에서 딥러닝 모델 평가 및 비교를 위한 신뢰할 수 있고 표준화된 벤치마크로 기능할 수 있는가?

주요 결과

• HITL 접근 방식은 레이블링 시간을 51% 감소시켜 약 390시간의 연속적인 작업 시간 절감을 이룬다.
• HITL 반복 과정을 거치면서 모델 성능이 지속적으로 향상되었으며, 테스트 세트에서 HTC 모델은 1회차에서 4회차로의 이터레이션 동안 세분화 mAP가 5.4%p 상승하였다.
• 우승 아키텍처인 HTC는 치아 번호 매기기 벤치마크에서 정확한 매칭 점수 67.9%를 기록했으며, 마이크로 정밀도와 마이크로 재현율은 98.5% 이상을 기록하였다.
• OdontoAI 데이터셋은 치과 패널로라디오그래프 분야에서 가장 큰 공개 가능한 데이터셋으로, 4,000장의 이미지와 세밀한 인스턴스 수준의 레이블링을 포함하고 있다.
• 플랫폼은 공정한 모델 비교를 지원하며, 하미ング 손실(최고 성능 모델 기준 0.0143)과 같은 지표를 포함하여 다중 레이블 예측 작업의 종합적인 평가를 가능하게 한다.
• 고품질의 일반적인 레이블이 필요할 경우, HITL를 통한 데이터 수집이 모델 개선보다 더 효율적임을 본 연구에서 확인하였다.