[論文レビュー] SQUID: Deep Feature In-Painting for Unsupervised Anomaly Detection

Tiange Xiang, Zhang, Yixiao+5 more|arXiv (Cornell University)|Nov 26, 2021

Anomaly Detection Techniques and Applications参考文献 83被引用数 6

ひとこと要約

SQUID は、深層特徴の穴埋めによる再構成を通じて繰り返し現れる解剖的パターンを学習するための空間に配慮したメモリキューを活用することで、ラベルなしの異常検出手法を提案する。これは、ZhangLab データセットで 13 個の SOTA メソッドを 5 ポイント以上、CheXpert では 10 ポイント以上上回る最先端の性能を達成している。また、手法開発と解釈可能性を向上させるために、合成された DigitAnatomy データセットを導入している。

ABSTRACT

Radiography imaging protocols focus on particular body regions, therefore producing images of great similarity and yielding recurrent anatomical structures across patients. To exploit this structured information, we propose the use of Space-aware Memory Queues for In-painting and Detecting anomalies from radiography images (abbreviated as SQUID). We show that SQUID can taxonomize the ingrained anatomical structures into recurrent patterns; and in the inference, it can identify anomalies (unseen/modified patterns) in the image. SQUID surpasses 13 state-of-the-art methods in unsupervised anomaly detection by at least 5 points on two chest X-ray benchmark datasets measured by the Area Under the Curve (AUC). Additionally, we have created a new dataset (DigitAnatomy), which synthesizes the spatial correlation and consistent shape in chest anatomy. We hope DigitAnatomy can prompt the development, evaluation, and interpretability of anomaly detection methods.

研究の動機と目的

• ラベルなしの状態で微細でまれな異常をレントゲン画像から検出する課題に対処すること。
• X線撮影プロトコルにおける高い空間的一致性と繰り返し現れる解剖的構造を活用して、異常検出性能を向上させること。
• トレーニング中に病変画像が部分的に混入しても性能が低下しない、頑健な手法を開発すること。
• 空間相関関係と一貫した解剖的形状を捉えた合成データセット DigitAnatomy を作成し、ベンチマークと解釈可能性を向上させること。
• 動的で位置に配慮した特徴として正常パターンをモデル化することで、ラベルなしの異常検出の汎化性能と信頼性を向上させること。

提案手法

• SQUID は、トレーニング中に入力画像の異なる空間領域から視覚的パターンを動的に保存・取得する空間に配慮したメモリキューを用いる。
• モデルは、空間的文脈に従って、メモリキュー内の類似パターンを使用してマスクされた特徴を再構成することで、特徴レベルの穴埋めを実行する。
• Gumbel-Softmax を用いた top-K 追跡機構により、各局所領域に対して最も関連性の高いパターンをメモリキューから選択する。
• フレームワークは、穴埋め中の構造的一致性を保つためにマスク付き残差ショートカットを組み込み、再構成の正確性を向上させる。
• デコーダー特徴のための別個のメモリバンクを維持するデコーダー・メモリモジュールを導入し、再構成精度を向上させる。
• 一般化性能を向上させるために知識蒸留を適用し、特徴学習の安定化のため、stop-gradient 操作を用いる。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしの状態で、レントゲン画像内の繰り返し現れる解剖的パターンを効果的にモデル化し、異常検出に活用できるか？
• RQ2 メモリキューの空間的配慮が、非空間的またはグローバルなメモリ機構と比較して、異常検出性能にどのように寄与するか？
• RQ3 SQUID は、トレーニングセットに病変画像が混入している場合、どの程度耐性を示し、性能低下を免れるか？
• RQ4 特徴レベルの穴埋め機構は、微細な解剖的異常を検出するにあたり、ピクセルレベルの再構成と比較してどの程度優れているか？
• RQ5 DigitAnatomy のような合成データセットは、医療画像におけるラベルなしの異常検出モデルの開発と評価を効果的に支援できるか？

主な発見

• Stanford の CheXpert データセットでは、13 個の最近のラベルなし異常検出手法を 10 ポイント以上上回り、AUC 84.7% を達成した。
• ZhangLab データセットでは、AUC 87.6% を達成し、13 個の SOTA メソッドを最低でも 5 ポイント以上上回った。
• アブレーションスタディの結果、空間に配慮したメモリキューが AUC に +10.0% の寄与を示し、穴埋めブロックが +6.7% の寄与を示した。これは、両者の重要な役割を裏付けている。
• トレーニング画像の 50% まで病変画像が混入しても、モデルは頑健であり、CutPaste や PANDA などのベースラインを上回った。
• メモリキューの各領域に 200 項目を用いることで最適な性能が得られ、500 項目以上に増やすと AUC の低下が見られ、過学習の兆候が示された。
• マスク確率が 95%（5% の特徴をスキップを許容）のときに最良の性能を示し、それ以下の値では穴埋め品質と検出精度が著しく低下した。