[論文レビュー] Evaluation of Various Open-Set Medical Imaging Tasks with Deep Neural Networks

Zongyuan Ge, Xin Wang|arXiv (Cornell University)|Oct 21, 2021

Artificial Intelligence in Healthcare and Education参考文献 38被引用数 4

ひとこと要約

本稿は、皮膚科、眼科、レントゲン画像のデータセットを用いた自己ドメイン、類似ドメイン、異なるドメインのシナリオにおいて、医療画像分野の最新のオープンセット認識手法—ODIN、MC Dropout、OpenMax、OLTR—を評価している。ImageNetで事前学習されたモデルを用い、未知のクラスを検出する能力において、オープンセット指向のモデル（特にOLTR）が不確実性に基づく手法を上回り、臨床応用に適した精度、キャリブレーション、推論速度のバランスが最も優れていることが判明した。

ABSTRACT

The current generation of deep neural networks has achieved close-to-human results on "closed-set" image recognition; that is, the classes being evaluated overlap with the training classes. Many recent methods attempt to address the importance of the unknown, which are termed "open-set" recognition algorithms, try to reject unknown classes as well as maintain high recognition accuracy on known classes. However, it is still unclear how different general domain-trained open-set methods from ImageNet would perform on a different but more specific domain, such as the medical domain. Without principled and formal evaluations to measure the effectiveness of those general open-set methods, artificial intelligence (AI)-based medical diagnostics would experience ineffective adoption and increased risks of bad decision making. In this paper, we conduct rigorous evaluations amongst state-of-the-art open-set methods, exploring different open-set scenarios from "similar-domain" to "different-domain" scenarios and comparing them on various general and medical domain datasets. We summarise the results and core ideas and explain how the models react to various degrees of openness and different distributions of open classes. We show the main difference between general domain-trained and medical domain-trained open-set models with our quantitative and qualitative analysis of the results. We also identify aspects of model robustness in real clinical workflow usage according to confidence calibration and the inference efficiency.

研究の動機と目的

• ImageNetで学習された一般ドメインのオープンセット認識手法が、ドメインシフトが生じる医療画像分野のタスクにどれほど効果的に適用できるかを評価すること。
• 未知の医療状態を検出する能力において、不確実性に基づく手法（ODIN、MC Dropout）とオープンセット指向のモデル（OpenMax、OLTR）を比較すること。
• 信頼性の高い推論を実現するため、信頼度のキャリブレーションと推論効率を用いて、リアルな臨床ワークフローにおけるモデルの頑健性を評価すること。
• 今後の医療分野のオープンセット研究のベンチマークを確立するため、公開可能なコード、ログティス、モデルを提供すること。

提案手法

• ResNet-50を用い、皮膚科（ISIC）、眼科（APTOS）、レントゲン（NIH ChestX-ray）の3つの医療データセットに対して、ImageNetで事前学習されたモデルを微調整した。
• 医療意思決定における信頼度のキャリブレーションを向上させるために、温度スケーリングを適用した。
• 4つのオープンセット手法を評価した：ODIN（入力の摂動＋温度スケーリング）、MC Dropout（ベイジアン的不確実性推定）、OpenMax（オープンセットリスクモデリング）、OLTR（表現学習を伴うオープンセット損失）。
• 3つのオープンセットシナリオを実施した：自己ドメイン（学習と同一ドメイン）、類似ドメイン（例：皮膚科から眼科）、異なるドメイン（例：ImageNetから医療画像）。
• 推論速度をGTX 1080Ti GPU上で測定し、既知クラスの精度、未知検出のAUC、推論速度を指標にパフォーマンスを評価した。
• 信頼度キャリブレーション指標（例：ECE）を用い、推論時間の報告を通じて臨床応用可能性を評価した。

実験結果

リサーチクエスチョン

• RQ1 一般ドメインのオープンセット手法が、ドメインシフトを伴う医療画像分野に移行された際、どの程度のパフォーマンスを示すか？
• RQ2 ドメイン類似度の異なる状況下で、不確実性に基づく手法とオープンセット指向の手法のどちらが、未知の医療状態をより効果的に検出できるか？
• RQ3 信頼度のキャリブレーションは、臨床意思決定支援システムにおけるオープンセット予測の信頼性にどのように影響するか？
• RQ4 異なるオープンセット手法の推論効率はどの程度か？ また、リアルタイムの臨床応用に最も適したのはどれか？
• RQ5 ソースデータセットとターゲットデータセットのドメイン類似度が、オープンセット認識のパフォーマンスにどの程度影響を及えるか？

主な発見

• OLTRは、自己ドメイン、類似ドメイン、異なるドメインの3つのオープンセットシナリオすべてにおいて、未知のクラスを検出する能力で他の手法を上回った。特に類似ドメインおよび異なるドメインタスクで顕著な優位性を示した。
• オープンセット指向のモデル（OpenMax、OLTR）は、ドメインシフト下でも不確実性に基づく手法（ODIN、MC Dropout）を大きく上回り、未知検出性能が顕著に優れていた。
• MC Dropoutは、モンテカルロサンプリングの性質上、推論速度がODINの20倍遅く、リアルタイム利用には制限があった。
• ODINはGTX 1080Tiで112.3 msの最速の推論速度を達成したが、医療データにおける未知検出性能は悪かった。
• OLTRは、検出性能、キャリブレーション、推論速度のバランスが最も良く、臨床応用に最も適していることが判明した。
• 温度スケーリングによる信頼度キャリブレーションは、特にOLTRとOpenMaxにおいて、医療予測の不正確なキャリブレーションを顕著に改善し、モデルの信頼性を向上させた。