[論文レビュー] FRODO: Free rejection of out-of-distribution samples: application to chest x-ray analysis

Erdi Çallı, Keelin Murphy+2 more|arXiv (Cornell University)|Apr 16, 2019

COVID-19 diagnosis using AI被引用数 2

ひとこと要約

本稿では、事前に学習されたResNet-50モデルの途中特徴活性化におけるマハラノビス距離を用いて、分布外（OOD）のチ胸レントゲン画像を検出する新規手法FRODOを提案する。追加の学習データを必要とせず、in-distributionとOODのサンプルを区別するAUCが0.99に達し、解剖学的および方向性の誤りを含む多様な状況において優れた一般化性能を示している。

ABSTRACT

In this work, we propose a method to reject out-of-distribution samples which can be adapted to any network architecture and requires no additional training data. Publicly available chest x-ray data (38,353 images) is used to train a standard ResNet-50 model to detect emphysema. Feature activations of intermediate layers are used as descriptors defining the training data distribution. A novel metric, FRODO, is measured by using the Mahalanobis distance of a new test sample to the training data distribution. The method is tested using a held-out test dataset of 21,176 chest x-rays (in-distribution) and a set of 14,821 out-of-distribution x-ray images of incorrect orientation or anatomy. In classifying test samples as in or out-of distribution, our method achieves an AUC score of 0.99.

研究の動機と目的

• 診断モデルを誤導する可能性のある分布外（OOD）の医療画像を検出する課題に対処すること。
• 追加の学習データやアーキテクチャの変更を必要としないOODサンプル検出手法の開発。
• in-distributionの学習データのみを用いて、臨床的画像処理パイプラインにおける堅牢なOOD検出を可能にすること。
• 本手法の性能を、画像の方向が正しくない、または異常な解剖学的構造を有するような現実世界のOOD事例において評価すること。

提案手法

• 本手法は、事前学習済みResNet-50モデルの途中層からの特徴活性化を、in-distributionデータの記述子として用いる。
• FRODOは、テストサンプルの特徴ベクトルと学習データの特徴分布との間のマハラノビス距離を計算し、OODの可能性を測定する。
• 学習データの分布は、ResNet-50の中間層の活性化特徴の共分散行列を用いてモデル化される。
• 本手法はアーキテクチャに依存せず、任意の深層ニューラルネットワークに対して中間特徴を抽出することで適用可能である。
• マハラノビス距離のしきい値を用いて、サンプルをin-またはout-of-distributionに分類する。

実験結果

リサーチクエスチョン

• RQ1 追加の学習データを必要とせずに、OODのチ胸レントゲン画像を検出できるか？
• RQ2 中間特徴量におけるマハラノビス距離は、OODとin-distributionのチ胸レントゲン画像をどれほど効果的に区別できるか？
• RQ3 画像の解剖学的構造や方向性の誤りのような多様なOOD事例に対しても、本手法は一般化可能か？
• RQ4 OOD検出のAUCとしての本手法の性能はいかほどか？

主な発見

• FRODOは、in-distributionのチ胸レントゲン画像とOODサンプルを区別するAUCが0.99に達し、優れた識別性能を示した。
• 本手法は、方向が正しくない、または異常な解剖学的構造を有する画像などのOODサンプルを効果的に検出できた。
• 本アプローチは追加の学習データを一切必要とせず、事前学習済みのResNet-50とその中間特徴統計に依存するのみであった。
• 特徴活性化におけるマハラノビス距離の使用は、医療画像におけるOOD検出に極めて有効であることが示された。