[論文レビュー] Towards Reliable Dermatology Evaluation Benchmarks

Fabian Gröger, Simone Lionetti+7 more|arXiv (Cornell University)|Sep 13, 2023

Cutaneous Melanoma Detection and Management被引用数 4

ひとこと要約

本論文は、アルゴリズム的ランク付けと専門家による確認を組み合わせることで、6つの公開皮膚科ベンチマークデータセットから不適切なサンプル、類似レコード、ラベル誤りを特定・削除するリソース効率の高いデータクリーニングプロトコルを提案する。この手法により、AUPRGにおける性能差が最大3.6%まで縮小され、より信頼性の高いモデル評価と、臨床的AIベンチマークの向上に寄与する修正済みファイルリストが得られた。

ABSTRACT

Benchmark datasets for digital dermatology unwittingly contain inaccuracies that reduce trust in model performance estimates. We propose a resource-efficient data-cleaning protocol to identify issues that escaped previous curation. The protocol leverages an existing algorithmic cleaning strategy and is followed by a confirmation process terminated by an intuitive stopping criterion. Based on confirmation by multiple dermatologists, we remove irrelevant samples and near duplicates and estimate the percentage of label errors in six dermatology image datasets for model evaluation promoted by the International Skin Imaging Collaboration. Along with this paper, we publish revised file lists for each dataset which should be used for model evaluation. Our work paves the way for more trustworthy performance assessment in digital dermatology.

研究の動機と目的

• ラベル誤り、不適切なサンプル、類似レコードなどのデータ品質問題により、デジタル皮膚科分野における信頼性の高い評価ベンチマークが不足しているという問題に対処すること。
• アルゴリズム的ランク付けと専門家による検証を組み合わせた、スケーラブルでリソース効率の高いデータキュレーションプロトコルの開発。
• 依然として隠れた不正確性を含む高品質にキュレーションされた皮膚科データセットをクリーニングすることで、モデル評価における性能差を低減すること。
• 非専門家によるアノテーションが、類似レコードの特定を信頼性高く行えるかどうかを示し、データキュレーションコストの低減を実現すること。
• 6つの主要な皮膚科データセットの修正済みクリーニング済みファイルリストを公開し、モデル性能の再現可能性と信頼性を向上させること。

提案手法

• データクリーニングを分類問題ではなくランク付け問題に再定式化するSelfCleanという手法を活用し、不適切なサンプル、類似レコード、ラベル誤りを含む候補を特定する。
• 信頼度に基づくランク付け戦略を適用し、データ品質問題を含む可能性が最も高いサンプルを優先順位付けすることで、人間の専門家の負担を軽減する。
• 3名の皮膚科医によるマルチエキスパート確認プロセスを採用し、問題検出の高信頼性を確保する。
• 専門家の合意に基づく直感的な停止基準を用いて、確認プロセスを効率的に終了させ、過剰なアノテーションを回避する。
• コスト効率を評価するため、類似レコード検出に非専門家によるラベル付けを組み込み、合意度の統計的妥当性を検証する。
• 6つのベンチマークデータセットの修正済みファイルリストを公開し、元の評価スプリットに代えて、一貫性があり信頼性の高いモデル評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズム的ランク付けと専門家による確認を組み合わせたハイブリッドプロトコルは、皮膚科ベンチマークにおけるデータ品質問題を効果的に特定・除去できるか？
• RQ2 すでにキュレーション済みの皮膚科データセットにおいて、ラベル誤り、不適切なサンプル、類似レコードが、モデル性能推定にどの程度影響を及ぼすか？
• RQ3 非専門家は皮膚科データセットにおける類似レコードを信頼性高く特定できるか？これによりデータキュレーションコストを低減できるか？
• RQ4 クリーニング済みと元のベンチマークデータセットを用いた場合、性能評価にどの程度の差が生じるか？
• RQ5 データ品質問題が、皮膚科モデル評価の主な指標（AUROC、AUPRG、AP）に及ぼす影響は何か？

主な発見

• プロトコルにより、6つのデータセット全体で不適切なサンプルが最大1.8%、類似レコードが最大2.8%削除され、評価セット内のノイズが顕著に低減された。
• 全データセットでラベル誤りの頻度が推定され、特にAUPRGにおいて顕著な性能低下が観察された。クリーニング済みベンチマークでは、モデル性能が最大3.6%低下した。
• クリーニング済みデータセットと元のデータセットを用いたモデル評価において、AUROCで-1.0%、APで-1.4%、AUPRGで-3.6%の性能差が観察された。
• 類似レコード検出における専門家の合意度は高く、非専門家と有意に差がなかったため、類似レコードのラベル付けに医学的専門知識が必ずしも必要ではない可能性が示された。
• 高い信頼性を維持しながらも、キュレーションのスピードアップを達成した。停止基準により、不要なアノテーションが効果的に制限された。
• 修正済みファイルリストは https://github.com/Digital-Dermatology/SelfClean-Revised-Benchmarks にて公開され、デジタル皮膚科分野における再現可能で信頼性のあるモデル評価を支援する。