[論文レビュー] AGMB-Transformer: Anatomy-Guided Multi-Branch Transformer Network for Automated Evaluation of Root Canal Therapy

Yunxiang Li, Guodong Zeng+11 more|PubMed|May 2, 2021

Dental Radiography and Imaging参考文献 56被引用数 7

ひとこと要約

本稿では、解剖学的ガイドラインに基づく多分岐型Transformerネットワーク、AGMB-Transformerを提案する。この手法は、特徴点に基づく多項式曲線フィッティングを用いて解剖学的特徴を抽出し、グループマルチヘッド自己注意機構を備えた段階的Transformerによって分類精度を向上させる。245枚の画像から成るデータセット上で90.20%の精度を達成し、ベースラインモデルを著しく上回る。

ABSTRACT

Accurate evaluation of the treatment result on X-ray images is a significant and challenging step in root canal therapy since the incorrect interpretation of the therapy results will hamper timely follow-up which is crucial to the patients' treatment outcome. Nowadays, the evaluation is performed in a manual manner, which is time-consuming, subjective, and error-prone. In this article, we aim to automate this process by leveraging the advances in computer vision and artificial intelligence, to provide an objective and accurate method for root canal therapy result assessment. A novel anatomy-guided multi-branch Transformer (AGMB-Transformer) network is proposed, which first extracts a set of anatomy features and then uses them to guide a multi-branch Transformer network for evaluation. Specifically, we design a polynomial curve fitting segmentation strategy with the help of landmark detection to extract the anatomy features. Moreover, a branch fusion module and a multi-branch structure including our progressive Transformer and Group Multi-Head Self-Attention (GMHSA) are designed to focus on both global and local features for an accurate diagnosis. To facilitate the research, we have collected a large-scale root canal therapy evaluation dataset with 245 root canal therapy X-ray images, and the experiment results show that our AGMB-Transformer can improve the diagnosis accuracy from 57.96% to 90.20% compared with the baseline network. The proposed AGMB-Transformer can achieve a highly accurate evaluation of root canal therapy. To our best knowledge, our work is the first to perform automatic root canal therapy evaluation and has important clinical value to reduce the workload of endodontists.

研究の動機と目的

• 歯科補綴医による手作業による主観的かつ時間のかかる根管治療評価の限界を是正すること。
• 医療画像とAIを活用した、自動的で客観的かつ高精度な根管治療結果分類手法の開発。
• 境界が不明瞭で、画像品質が悪い、解剖学的障害物があるなど、レントゲン画像解析における課題の克服。
• 深層学習に解剖学的事前知識を統合し、歯科画像診断の性能向上を図ること。
• 深層学習を用いた根管治療のエンドツーエンド自動評価フレームワークを確立すること。

提案手法

• 特徴点を検出することで、根管レントゲン画像に多項式曲線フィッティングを適用し、解剖学的特徴を抽出するための多項式曲線フィッティング分離戦略を採用する。
• 得られた解剖学的特徴を入力レントゲン画像と融合し、専用の分岐融合モジュールを備えた多分岐型Transformerアーキテクチャに供給する。
• 段階的Transformer機構により、画像全体にわたる長距離のグローバルな依存関係をモデル化し、文脈的理解を強化する。
• グループマルチヘッド自己注意（GMHSA）を導入し、局所的な空間パターンを効率的に捉え、特徴表現を向上させる。
• 治療結果（不十分充填、過剰充填、適正充填）の多クラス分類を目的として、交差エントロピー損失を用いてエンドツーエンドでネットワークを訓練する。
• 特徴ブロック数（θ）や多項式次数（δ）といったハイパーパrameterは、アブレーションスタディにより最適化される。

Figure 1: The first part shows the conventional steps of root canal therapy. The second part gives examples of three types of root canal therapy results, and the first row shows original images and the second row shows the corresponding images overlaid with red, blue, and cyan to represent some anat

実験結果

リサーチクエスチョン

• RQ1 解剖学的ガイドラインに基づく特徴は、レントゲン画像における自動根管治療評価の精度を向上させることができるか？
• RQ2 段階的注意機構とGMHSAを備えた多分岐型Transformerアーキテクチャは、標準モデルと比較して分類性能をどのように向上させるか？
• RQ3 分岐融合モジュールと多項式フィッティング次数の最適な設定は、最大の診断精度を達成するためにどのようなものか？
• RQ4 提案手法は、根管治療を越えた他の医療画像処理タスクにも一般化可能か？
• RQ5 解剖学的事前知識を統合することで、高品質な画像品質への依存度がどの程度低下し、観察者間差が減少するか？

主な発見

• AGMB-Transformerは分類精度90.20%を達成し、ベースラインモデルの57.96%から著しく向上した。
• アブレーションスタディにより、最適な設定はθ = 64（64個の特徴ブロック）およびδ = 2（2次多項式フィッティング）であると判明した。
• 根管治療データセットにおいて、AUCは95.63%、感度は91.39%、特異度は95.09%、F1スコアは90.48%を達成した。
• Plant Pathology 2020データセットでも、AGMB-Transformerは96.15%の精度を達成し、ResNet50、ResNeXt50、GCNet50、BoTNet50を上回った。
• 分岐融合モジュールは、複数の分岐からの特徴を効果的に統合し、グローバルおよびローカル特徴学習を強化した。
• 本手法は、自動根管治療評価に解剖学的ガイドラインに基づく多分岐型Transformerを初めて導入し、強力な臨床的潜在能力を示した。

Figure 2: An illustration of the proposed AGMB-Transformer. First, anatomy features are generated by fitting segmentation and landmark detection. Then, anatomy features are combined with the X-ray images as the input for the AGMB-Transformer. In order to better visualize the process, we mark the seg