[論文レビュー] Anomaly Detection on X-Rays Using Self-Supervised Aggregation Learning

Behzad Bozorgtabar, Dwarikanath Mahapatra+2 more|arXiv (Cornell University)|Oct 19, 2020

Anomaly Detection Techniques and Applications参考文献 29被引用数 5

ひとこと要約

本論文は、メモリバンと類似度集約を用いて代表的な正常パターンを学習する自己教師あり深層学習フレームワークSALADを提案する。訓練時に異常ラベルを用いずに、NIH Chest X-rayおよびMURAデータセットで最先端の性能を達成した。

ABSTRACT

Deep anomaly detection models using a supervised mode of learning usually work under a closed set assumption and suffer from overfitting to previously seen rare anomalies at training, which hinders their applicability in a real scenario. In addition, obtaining annotations for X-rays is very time consuming and requires extensive training of radiologists. Hence, training anomaly detection in a fully unsupervised or self-supervised fashion would be advantageous, allowing a significant reduction of time spent on the report by radiologists. In this paper, we present SALAD, an end-to-end deep self-supervised methodology for anomaly detection on X-Ray images. The proposed method is based on an optimization strategy in which a deep neural network is encouraged to represent prototypical local patterns of the normal data in the embedding space. During training, we record the prototypical patterns of normal training samples via a memory bank. Our anomaly score is then derived by measuring similarity to a weighted combination of normal prototypical patterns within a memory bank without using any anomalous patterns. We present extensive experiments on the challenging NIH Chest X-rays and MURA dataset, which indicate that our algorithm improves state-of-the-art methods by a wide margin.

研究の動機と目的

• X線画像における長尾分布と希少な異常による、教師あり異常検出の一般化性能の低さという課題に対処する。
• 放射線科医による異常ラベルのコストを減らすために、完全に自己教師ありの訓練を可能にする。
• 潜在空間における正常X線特徴のクラスタリングを改善し、強固な代表的パターンを形成する。
• 以前に見られなかった不均衡な異常にも一般化しやすくし、これまでに見た希少クラスに過学習しない方法を開発する。
• 臨床的X線データセットにおける、非教師ありおよび半教師ありの異常検出の両設定で最先端の性能を達成する。

提案手法

• 画像表現と再構成を学習するため、畳み込みエンコーダーと転置デコーダーを備えた深層オートエンコーダーバックボーンを用いる。
• 正常な訓練サンプルからの特徴埋め込みを保存するため、正常パターンの代表的パターンを格納するメモリバンを維持する。
• 各サンプルとその埋め込み空間内での最近傍の類似度分布のエントロピーを最小化する自己教師あり損失を最適化する。
• 類似した正常サンプルが学習されたプロトタイプの周囲に密にクラスタリングするよう促進する、新しい集約損失（$\mathcal{L}_{\text{agg}}$）を導入する。
• 表現学習の安定化を図るため、段階的な訓練を実施し、温度スケーリング付き交差エントロピー損失を用いたコントラスト学習を適用する。
• テスト画像の特徴とメモリバン内の最も代表的な正常プロトタイプとの重み付き類似度を、異常スコアとして計算する。

実験結果

リサーチクエスチョン

• RQ1 メモリバンを用いた自己教師あり表現学習は、異常ラベルを一切使用せずに、X線における異常検出性能を向上させることができるか？
• RQ2 提案された集約損失は、標準的なコントラスト損失や再構成損失と比較して、代表的正常パターンの形成をどのように向上させるか？
• RQ3 SALADは、教師ありまたは半教師ありのベースラインと比較して、希少かつ未確認の異常に対してどの程度一般化できるか？
• RQ4 自己教師ありの性質を有するSALADの性能は、訓練時に異常ラベルの含まれるデータの割合にどの程度敏感か？
• RQ5 本手法は、非教師ありおよび半教師ありの設定下で、NIHやMURAのような複数の臨床的X線ベンチマークで最先端の結果を達成できるか？

主な発見

• SALADは、NIH Chest X-rayデータセットにおいて、すべての最先端の非教師ありおよび自己教師あり異常検出手法を上回り、ベースラインのMemDAEよりもAUCで5.8%の絶対的向上を達成した。
• MURAデータセットでは、既存の手法と比較して顕著な性能向上を示し、AUCおよびAUPRCの両指標で顕著な改善を達成した。
• Deep SAD や ResNet-18 といった半教師あり・教師ありベースラインでさえ、異常ラベルを用いていたにもかかわらず、SALADは希少クラスへの過学習が少ないことから、性能で上回った。
• アブレーションスタディの結果、集約損失（$\mathcal{L}_{\text{agg}}$）とMSE再構成損失（$\mathcal{L}_{\text{mse}}$）の両方が性能向上に寄与していることが確認され、特に$\mathcal{L}_{\text{agg}}$が顕著に有効であった。
• SALADは、異常ラベルの割合が15%まで変動しても性能にほとんど影響を受けることがなく、そのロバストさと自己教師あり性を裏付けた。
• SALADは、NIHおよびMURAデータセットの両方で、完全非教師ありおよび半教師ありのすべての学習設定において、最先端の結果を達成した。