[論文レビュー] BMAD: Benchmarks for Medical Anomaly Detection

Jinan Bao, Hanshi Sun+4 more|arXiv (Cornell University)|Jun 20, 2023

Anomaly Detection Techniques and ApplicationsComputer Science被引用数 3

ひとこと要約

BMADは、脳MRI、肝臓CT、網膜OCT、胸部X線、ヒストパスロジーの5つの医療画像分野にまたがる6つのキュレート済みデータセットを用いて、医療画像における異常検出（MAD）のための標準的で包括的なベンチマークを導入する。14の最先端のADモデルと3つの評価指標（AUROC、PRO、DICE）を含む。このベンチマークにより、公平で再現可能な比較が可能となり、一貫したコードベースと事前学習済みモデルの提供により、教師なし医療AD分野の進展が加速される。

ABSTRACT

Anomaly detection (AD) is a fundamental research problem in machine learning and computer vision, with practical applications in industrial inspection, video surveillance, and medical diagnosis. In medical imaging, AD is especially vital for detecting and diagnosing anomalies that may indicate rare diseases or conditions. However, there is a lack of a universal and fair benchmark for evaluating AD methods on medical images, which hinders the development of more generalized and robust AD methods in this specific domain. To bridge this gap, we introduce a comprehensive evaluation benchmark for assessing anomaly detection methods on medical images. This benchmark encompasses six reorganized datasets from five medical domains (i.e. brain MRI, liver CT, retinal OCT, chest X-ray, and digital histopathology) and three key evaluation metrics, and includes a total of fourteen state-of-the-art AD algorithms. This standardized and well-curated medical benchmark with the well-structured codebase enables comprehensive comparisons among recently proposed anomaly detection methods. It will facilitate the community to conduct a fair comparison and advance the field of AD on medical imaging. More information on BMAD is available in our GitHub repository: https://github.com/DorisBao/BMAD

研究の動機と目的

• 医療画像における異常検出手法を評価するための標準的で公平なベンチマークの欠如に対処すること。
• 多様な分野にまたがる既存の医療画像データセットを、一貫性があり評価に適した形式に統合・再編集すること。
• 医療画像分野における最先端の異常検出モデル間で包括的かつ再現可能な比較を可能にすること。
• 14の評価対象手法すべての学習および推論パイプラインを備えた、良好にドキュメント化されオープンソースのコードベースを提供すること。
• 体系的な評価を通じて性能のギャップや将来の研究方向性を同定することで、今後の研究を促進すること。

提案手法

• ベンチマークは、5つの分野から6つの再編集済み医療画像データセットを統合している：BraTS2021（脳MRI）、BTCV+LiTs（肝臓CT）、RESC（網膜OCT）、NIH-ChestXRay（胸部X線）、および3つのヒストパスロジー・データセット（TCGA-NSCLC、TCGA-KIRC、TCGA-KIRP）。
• データセットは一貫性を確保するための前処理が施されている：訓練には正常サンプルが使用され、異常は評価に保持され、該当する場合はピクセル単位およびサンプル単位のアノテーションが利用可能である。
• 14の最先端の教師なし異常検出モデルが評価に含まれる。再構築ベースの手法（例：オートエンコーダ、GAN、拡散モデル）と特徴埋め込みベースの手法（例：PatchCore、PaDiM、DRAEM、STFPM）が含まれる。
• 3つの評価指標が用いられる：AUROC（画像およびピクセルレベル）、Per-Region Overlap（PRO）、およびしきい値依存のDiceスコア。Diceスコアについてはしきい値最適化が検討された。
• GitHub経由で統一されたコードベースが提供され、一貫したハイパーパramータとデータ分割を用いた学習、推論、評価をサポートする。
• 各手法ごとにハイパーパramータが最適化されている（例：CS-FlowはAdamを用い、初期の学習率2e-4、重み減衰1e-5、勾配クリッピング1、フロークリッピング3を設定）。

実験結果

リサーチクエスチョン

• RQ1 標準化された評価を用いた場合、最先端の異常検出モデルは多様な医療画像分野でどのように性能を発揮するか？
• RQ2 再構築ベースと特徴埋め込みベースの異常検出手法は、医療画像分野においてそれぞれどのような相対的強み・弱みを示すか？
• RQ3 異なる医療画像モodal（例：MRI対OCT対ヒストパスロジー）において、モデルの性能と一般化能力はどの程度変動するか？
• RQ4 異なる評価指標（AUROC、PRO、Dice）は、臨床的妥当性および局在化精度とどの程度相関するか？
• RQ5 現在の医療AD手法における主なボトルネックは何か。ベンチマークの結果から示唆される研究の方向性は何か？

主な発見

• PatchCoreはBraTS2021で32.82±0.59の最高のピクセルレベルAUROCを達成し、CFA（30.22±0.32）やSTFPM（25.40±0.82）を上回った。
• BTCV+LiTsデータセットではCFAが14.93±0.08のAUROCを記録し、全手法の中で最高の性能を示した。これは肝臓CTにおける優れた性能を示している。
• RESCデータセットではPatchCoreが57.04±0.21の最高DICEスコアを達成し、網膜OCTの異常局在化において優れた正確性を示した。
• RESCデータセットではSTFPMが49.23±0.23の最高DICEスコアを記録し、微細な異常局在化における強力な性能を示した。
• DICEスコアはしきい値に強く依存しており、最適なしきい値チューニングにより、0.5のベースラインをはるかに上回る性能向上が可能である（例：PatchCoreのDICEは57.04からより高い値に向上可能）。
• ベンチマークの結果から、どのモデルも全分野で優位に立つことはなく、分野特化型の適応と一般化に関するさらなる研究の必要性が示された。