[論文レビュー] A Benchmark of Medical Out of Distribution Detection

Tianshi Cao, Chin‐Wei Huang+2 more|arXiv (Cornell University)|Jul 8, 2020

COVID-19 diagnosis using AI参考文献 19被引用数 39

ひとこと要約

本論文は、胸部X線、眼底画像、組織学の4つの医用画像ドメインで複数の OoD 検出手法をベンチマークし、単純な二値特徴分類器がしばしば最良の性能を示すこと、そして訓練分布に近いサンプルの検出が難しいことを見出しています。

ABSTRACT

Motivation: Deep learning models deployed for use on medical tasks can be equipped with Out-of-Distribution Detection (OoDD) methods in order to avoid erroneous predictions. However it is unclear which OoDD method should be used in practice. Specific Problem: Systems trained for one particular domain of images cannot be expected to perform accurately on images of a different domain. These images should be flagged by an OoDD method prior to diagnosis. Our approach: This paper defines 3 categories of OoD examples and benchmarks popular OoDD methods in three domains of medical imaging: chest X-ray, fundus imaging, and histology slides. Results: Our experiments show that despite methods yielding good results on some categories of out-of-distribution samples, they fail to recognize images close to the training distribution. Conclusion: We find a simple binary classifier on the feature representation has the best accuracy and AUPRC on average. Users of diagnostic tools which employ these OoDD methods should still remain vigilant that images very close to the training distribution yet not in it could yield unexpected results.

研究の動機と目的

• 医用画像における3つ OoD ユースケースを定義し、堅牢な OoD 検出の必要性を動機づける。
• 複数の医用画像領域でデータのみ、分類器のみ、補助モデルを伴う手法を含む幅広い OoD 手法を評価する。
• 実用的な OoD 手法のガイダンスを提供し、入力が訓練分布に近い場合の限界を強調する。

提案手法

• 3つの OoD カテゴリを定義する：関連性のない入力、誤って準備された入力、訓練バイアスによる未知の条件。
• 胸部X線、眼底、組織学の4つの医療データセットからの In データと、ユースケースごとの Out データを用いた実験を構築する。
• データのみ（例：KNN）、分類器のみ（例：閾値設定、SVM、バイナリ分類器）、補助モデルを伴う手法（例：オートエンコーダ、VAE、ALI/BiGAN）の3クラスの OoD 手法を評価する。
• In データでタスクネットワーク（DenseNet-121）を訓練する。OoD 手法を In と Out サンプルを混合した検証セットで訓練し、In/Out が均等なテストセットで評価する。
• ハイパーパラメータを探索し、Out データの分割に対する安定性と一般化を評価するために複数の試行を実施する。

実験結果

リサーチクエスチョン

• RQ1 さまざまな医用画像領域で、どの OoD 手法が In と Out のサンプルを最も良く分離するか？
• RQ2 医用 OoD タスクにおいて、単純な分類器ベースの OoD 検出器は補助モデルを用いた手法と同等かそれを上回るか？
• RQ3 関連データ、誤って準備されたデータ、未知の病気を含むユースケースで OoD の性能はどのように変化するか？
• RQ4 複数の Out データセットが OoD 検出器の一般化に与える影響は？
• RQ5 臨床ワークフローにおける OoD 手法の設定と実行時間の実用的なトレードオフは何か？

主な発見

• 分類器のみの手法、特にバイナリ分類器とマハラノビスは、補助モデル手法を上回ることもある高い精度と AUPRC を達成する。
• ユースケース 3（未知の病気）では検出性能が著しく低下し、いくつかの評価ではすべての手法がほぼランダムに近い性能になる。
• Out データを複数用いると境界の安定性と一般化が向上し、一部の手法で性能が向上する。
• データのみの KNN 手法はセットアップ/実行時間のトレードオフが有利だが、訓練データのストレージの影響でメモリ集約的になる可能性がある。
• オートエンコーダなどの補助モデル手法は、全領域で必ずしもより単純な分類器ベースの手法を上回らない傾向があり、眼底画像は顕著な例外として挙げられる。
• 評価を通じて、多く OoD 手法は訓練分布に非常に近いサンプルを検出するのが難しい。