[논문 리뷰] AGMB-Transformer: Anatomy-Guided Multi-Branch Transformer Network for Automated Evaluation of Root Canal Therapy

Yunxiang Li, Guodong Zeng외 11명|PubMed|2021. 05. 02.

Dental Radiography and Imaging참고 문헌 56인용 수 7

한 줄 요약

이 논문은 뿌리관 치료 평가의 자동화를 위한 새로운 해부학적 지도 다중지점 트랜스포머 네트워크인 AGMB-Transformer를 제안한다. 이는 땅금 기반 다항 곡선 피팅을 활용해 해부학적 특징을 추출하고, 이를 바탕으로 그룹 다중 헤드 자기주의를 갖춘 점진적 트랜스포머가 분류 정확도를 향상시키는 데 기여한다. 이 방법은 245장의 이미지 데이터셋에서 90.20%의 정확도를 달성하여 기준 모델보다 뚜렷하게 뛰어나다.

ABSTRACT

Accurate evaluation of the treatment result on X-ray images is a significant and challenging step in root canal therapy since the incorrect interpretation of the therapy results will hamper timely follow-up which is crucial to the patients' treatment outcome. Nowadays, the evaluation is performed in a manual manner, which is time-consuming, subjective, and error-prone. In this article, we aim to automate this process by leveraging the advances in computer vision and artificial intelligence, to provide an objective and accurate method for root canal therapy result assessment. A novel anatomy-guided multi-branch Transformer (AGMB-Transformer) network is proposed, which first extracts a set of anatomy features and then uses them to guide a multi-branch Transformer network for evaluation. Specifically, we design a polynomial curve fitting segmentation strategy with the help of landmark detection to extract the anatomy features. Moreover, a branch fusion module and a multi-branch structure including our progressive Transformer and Group Multi-Head Self-Attention (GMHSA) are designed to focus on both global and local features for an accurate diagnosis. To facilitate the research, we have collected a large-scale root canal therapy evaluation dataset with 245 root canal therapy X-ray images, and the experiment results show that our AGMB-Transformer can improve the diagnosis accuracy from 57.96% to 90.20% compared with the baseline network. The proposed AGMB-Transformer can achieve a highly accurate evaluation of root canal therapy. To our best knowledge, our work is the first to perform automatic root canal therapy evaluation and has important clinical value to reduce the workload of endodontists.

연구 동기 및 목표

• 임상 치료사가 수행하는 수작업, 주관적, 시간 소모적인 뿌리관 치료 평가의 한계를 해결하기 위해.
• 의료 영상과 인공지능을 활용해 뿌리관 치료 결과를 자동으로, 객관적으로, 정확하게 분류하는 방법을 개발하기 위해.
• 불명확한 경계, 열악한 영상 품질, 해부학적 장애물 등 X-ray 영상 분석의 과제를 극복하기 위해.
• 딥 러닝에 해부학적 사전 지식을 통합하여 치과 영상 진단 성능을 향상시키기 위해.
• 딥 러닝을 활용한 뿌리관 치료 평가를 위한 첫 번째 엔드 투 엔드 자동 평가 프레임워크를 구축하기 위해.

제안 방법

• 뿌리관 X-ray 영상의 검출된 땅금에 기반해 곡선을 피팅하는 다항 곡선 피팅 분할 전략을 사용하여 해부학적 특징을 추출한다.
• 해부학적 특징은 입력 X-ray 영상과 융합되어 전용 지점 융합 모듈을 갖춘 다중지점 트랜스포머 아키텍처에 입력된다.
• 진행적 트랜스포머 메커니즘이 영상 전역의 장거리 상관관계를 모델링하여 맥락 이해를 향상시킨다.
• 그룹 다중 헤드 자기주의(GMHSA)는 지역적 공간 패턴을 효율적으로 포착하고 특징 표현을 향상시키기 위해 도입된다.
• 다중 클래스 분류를 위해 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 네트워크를 훈련한다. 치료 결과는 부족 채움, 과도 채움, 적절 채움으로 분류된다.
• 특징 블록 수(θ) 및 다항식 차수(δ)와 같은 하이퍼파rameter는 추론 실험을 통해 최적화된다.

Figure 1: The first part shows the conventional steps of root canal therapy. The second part gives examples of three types of root canal therapy results, and the first row shows original images and the second row shows the corresponding images overlaid with red, blue, and cyan to represent some anat

실험 결과

연구 질문

• RQ1 해부학적 지도 특징은 X-ray 영상에서 자동 뿌리관 치료 평가의 정확도를 향상시킬 수 있는가?
• RQ2 진행적 주의 메커니즘과 GMHSA를 갖춘 다중지점 트랜스포머 아키텍처는 기존 모델 대비 분류 성능을 어떻게 향상시키는가?
• RQ3 최대 진단 정확도를 위해 지점 융합 모듈과 다항식 피팅 차수의 최적 설정은 무엇인가?
• RQ4 제안된 방법은 뿌리관 치료를 초월한 다른 의료 영상 작업으로 일반화될 수 있는가?
• RQ5 해부학적 사전 지식을 통합함으로써 고해상도 영상 품질에 대한 의존도는 얼마나 감소하고, 관찰자 간 변동성은 얼마나 줄어드는가?

주요 결과

• AGMB-Transformer는 분류 정확도 90.20%를 달성하여 기준 모델의 57.96%보다 뚜렷한 향상이 이루어졌다.
• 추론 실험을 통해 최적 설정은 θ = 64(64개의 특징 블록) 및 δ = 2(이차 다항식 피팅)로 확인되었다.
• 뿌리관 치료 데이터셋에서 AUC 95.63%, 민감도 91.39%, 특이도 95.09%, F1 점수 90.48%를 기록했다.
• Plant Pathology 2020 데이터셋에서 평가한 결과, AGMB-Transformer는 96.15%의 정확도를 기록하여 ResNet50, ResNeXt50, GCNet50, BoTNet50를 모두 앞섰다.
• 지점 융합 모듈은 여러 지점에서 유래한 특징을 효과적으로 융합하여 전역 및 국소 특징 학습을 향상시켰다.
• 이 방법은 자동 뿌리관 치료 평가에 해부학적 지도 다중지점 트랜스포머를 도입한 첫 번째 방법으로, 높은 임상 잠재력을 보였다.

Figure 2: An illustration of the proposed AGMB-Transformer. First, anatomy features are generated by fitting segmentation and landmark detection. Then, anatomy features are combined with the X-ray images as the input for the AGMB-Transformer. In order to better visualize the process, we mark the seg