[論文レビュー] OdontoAI: A human-in-the-loop labeled data set and an online platform to boost research on dental panoramic radiographs

Bernardo Silva, Laís Pinheiro+7 more|arXiv (Cornell University)|Mar 29, 2022

Dental Radiography and Imaging被引用数 4

ひとこと要約

OdontoAIは、4,000枚の歯科パノラマレントゲン画像を含む大規模な、人間を含むラベル付け（HITL）されたデータセットを提供し、インスタンスセグメンテーションと歯の番号付けを実施することで、ラベリング時間の51％削減（390時間以上の節約）を実現した。本研究では、歯科パノラマレントゲン画像の分野における最初のベンチマークプラットフォームであるOdontoAIオンラインプラットフォームを提案し、ディープラーニングモデルのセグメンテーションおよび歯の番号付けタスクにおける標準化された評価を可能にした。

ABSTRACT

Deep learning has remarkably advanced in the last few years, supported by large labeled data sets. These data sets are precious yet scarce because of the time-consuming labeling procedures, discouraging researchers from producing them. This scarcity is especially true in dentistry, where deep learning applications are still in an embryonic stage. Motivated by this background, we address in this study the construction of a public data set of dental panoramic radiographs. Our objects of interest are the teeth, which are segmented and numbered, as they are the primary targets for dentists when screening a panoramic radiograph. We benefited from the human-in-the-loop (HITL) concept to expedite the labeling procedure, using predictions from deep neural networks as provisional labels, later verified by human annotators. All the gathering and labeling procedures of this novel data set is thoroughly analyzed. The results were consistent and behaved as expected: At each HITL iteration, the model predictions improved. Our results demonstrated a 51% labeling time reduction using HITL, saving us more than 390 continuous working hours. In a novel online platform, called OdontoAI, created to work as task central for this novel data set, we released 4,000 images, from which 2,000 have their labels publicly available for model fitting. The labels of the other 2,000 images are private and used for model evaluation considering instance and semantic segmentation and numbering. To the best of our knowledge, this is the largest-scale publicly available data set for panoramic radiographs, and the OdontoAI is the first platform of its kind in dentistry.

研究の動機と目的

• ディープラーニング研究における大規模で一貫性のあるラベル付け済み歯科パノラマレントゲン画像データセットの不足に対処すること。
• ディープラーニング予測を一時的ラベルとして使用するHITLワークフローを導入することで、ラベリングの時間とコストを削減すること。
• 歯科画像解析分野におけるディープラーニングモデルの評価と比較を標準化するため、公共のベンチマークプラットフォームOdontoAIを構築すること。
• 人間の専門家が複数のサイクルにわたりモデルの予測を検証・修正する反復的HITLの改善により、モデル性能を向上させること。
• 今後の研究を支援するため、正確な歯のセグメンテーション、番号付け、およびインプラントや義歯などの歯科構造物の検出に貢献すること。

提案手法

• 未ラベル化されたレントゲン画像に対して初期のモデル予測を人間の歯科医師が検証・修正する人間を含むラベル付け（HITL）パイプラインを採用した。
• 深層ニューラルネットワーク（例：HTC、Mask R-CNN、Cascade R-CNN）を用いて、未ラベル画像の初期セグメンテーションおよび番号付け予測を生成した。
• 反復的HITLサイクルを実施：検証済みデータでモデルを学習し、新たな予測を生成し、検証プロセスを繰り返すことで、ラベル品質およびモデル性能を向上させた。
• OdontoAIオンラインプラットフォーム上で、学習用に2,000枚の公開ラベル付き画像、評価用に2,000枚の非公開ラベル付き画像をリリースした。
• mAP、正確一致スコア、マイクロ精度、マイクロ再現率、ハミング損失を含む、包括的なベンチマーク評価システムをOdontoAIプラットフォームに実装した。
• 臨床的診断ニーズに適合するように、インスタンスセグメンテーションと正確な番号付けを含む細分化されたラベル付けに焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 人間を含むラベル付け（HITL）アプローチは、歯科パノラマレントゲン画像のラベリングにおいて、どの程度時間と労力を削減できるか？
• RQ2 反復的HITLの改善は、歯のインスタンスセグメンテーションおよび番号付けタスクにおけるディープラーニングモデルの性能をどのように向上させるか？
• RQ3 モデルの予測ラベルを一時的ラベルとして使用することは、最終的なラベル品質および一貫性にどのような影響を与えるか？
• RQ4 最新のモデル（例：HTC、Mask R-CNN）は、新しいOdontoAIベンチマークデータセット上でどのように性能を発揮するか？
• RQ5 OdontoAIプラットフォームは、歯科パノラマレントゲン画像解析分野におけるディープラーニングモデルの評価と比較のための信頼性があり標準化されたベンチマークとして機能できるか？

主な発見

• HITLアプローチにより、ラベリング時間は51％削減され、ラベリングプロセスで推定390時間の作業時間を節約した。
• HITLの反復サイクルを通じて、モデル性能は一貫して向上し、HTCはテストセットにおけるセグメンテーションmAPが第1回から第4回にかけて5.4ポイント上昇した。
• 優勝アーキテクチャであるHTCは、歯の番号付けベンチマークで67.9％の正確一致スコアを達成し、マイクロ精度およびマイクロ再現率は98.5％を超えた。
• OdontoAIデータセットは、4,000枚の画像と詳細なインスタンスレベルのラベルを備えた、公開可能な最大の歯科パノラマレントゲン画像データセットである。
• プラットフォームは公平なモデル比較を可能にし、ハミング損失（上位モデルで0.0143）を含むメトリクスを備えており、マルチラベル予測タスクの包括的評価を可能にした。
• 本研究は、高品質で汎用性の高いラベルが必要な状況では、HITLによるデータ収集がモデルの最適化よりも効率的であることを確認した。