[論文レビュー] Optimizing PatchCore for Few/many-shot Anomaly Detection

João Santos, Triet Tran+1 more|arXiv (Cornell University)|Jul 20, 2023

Anomaly Detection Techniques and Applications被引用数 7

ひとこと要約

この論文は、ハイパーパramータのチューニングとドメインに適したデータ拡張を適用することで、SOTAの異常検出モデルであるPatchCoreを少データおよび多数データ設定に最適化する。VisAデータセットにおいて新たなSOTA性能を達成し、CVPR 2023 VANDチャレンジで1位を獲得した。これは、既存モデルの適応が低データ環境下で新規に設計された手法を上回ることを示している。

ABSTRACT

Few-shot anomaly detection (AD) is an emerging sub-field of general AD, and tries to distinguish between normal and anomalous data using only few selected samples. While newly proposed few-shot AD methods do compare against pre-existing algorithms developed for the full-shot domain as baselines, they do not dedicatedly optimize them for the few-shot setting. It thus remains unclear if the performance of such pre-existing algorithms can be further improved. We address said question in this work. Specifically, we present a study on the AD/anomaly segmentation (AS) performance of PatchCore, the current state-of-the-art full-shot AD/AS algorithm, in both the few-shot and the many-shot settings. We hypothesize that further performance improvements can be realized by (I) optimizing its various hyperparameters, and by (II) transferring techniques known to improve few-shot supervised learning to the AD domain. Exhaustive experiments on the public VisA and MVTec AD datasets reveal that (I) significant performance improvements can be realized by optimizing hyperparameters such as the underlying feature extractor, and that (II) image-level augmentations can, but are not guaranteed, to improve performance. Based on these findings, we achieve a new state of the art in few-shot AD on VisA, further demonstrating the merit of adapting pre-existing AD/AS methods to the few-shot setting. Last, we identify the investigation of feature extractors with a strong inductive bias as a potential future research direction for (few-shot) AD/AS.

研究の動機と目的

• PatchCoreのような既存のフルショット異常検出手法が、ハイパーパramータの最適化によって少データおよび多数データ設定で改善可能かどうかを調査すること。
• 教師あり学習から得られるデータ拡張技術が、異常検出ドメインに適切に設計された場合、少データ／多数データの異常検出に有効かどうかを評価すること。
• 翻訳等変性（translation equivariance）のようなアーキテクチャ上のインダクティブバイアスが、低データ環境下での性能向上に寄与するかどうかを調査すること。
• VisAベンチマークにおける少データ異常検出で、新たなSOTAを確立すること。
• 少データ／多数データ設定におけるPatchCoreの再現可能で最適化された実装を提供すること。

提案手法

• VisAおよびMVTec ADデータセットを用いた体系的なアブレーションを通し、特徴抽出器のアーキテクチャと入力解像度に焦点を当てたPatchCoreのハイパーパramータ最適化。
• ドメイン固有のチューニングを施した画像レベルのデータ拡張（例：色のジャミング、ランダムクロップ）の適用により、低ショット環境下での一般化性能を向上させること。
• 畳み込みニューラルネットワークバックボーンにおける翻訳等変性を強制するためのアンチエイリアシングレイヤーの統合。
• メモリバンクのサイズを縮小するが性能に影響を与えないグリーディコアセットサブサンプリングの使用。
• 最適化されたコンponentsを統合し、少データ異常検出に特化したエンドツーエンドのパイプラインを構築すること。
• 最適化された設定でのPatchCoreの再実装とベンチマーク評価。標準指標（AUROC）を用いてSOTA手法と比較した。

実験結果

リサーチクエスチョン

• RQ1 PatchCoreのハイパーパramータチューニングが、その少データおよび多数データにおける異常検出性能を顕著に向上させることができるか？
• RQ2 教師あり学習から得られるデータ拡張技術が、異常検出ドメインに適切に設計された場合、少データ異常検出に効果を発揮するか？
• RQ3 アンチエイリアシングや等変性を用いて特徴抽出器におけるインダクティブバイアスを強化することで、低データ環境下での性能が向上するか？
• RQ4 最適化による性能向上は、少データADにおける既存のSOTA手法を上回るのに十分な水準に達するか？
• RQ5 コアセットサブサンプリングにより、少データ設定下で性能を損なわずメモリフットプリントを削減できるか？

主な発見

• 特徴抽出器と入力解像度の最適化により顕著な性能向上が達成され、MVTec ADで4ショットで88.7％の平均AUROC、VisAで4ショットで86.4％のAUROCを達成した。
• ドメインに適した設計が施された画像レベルの拡張は、少データ性能を向上させたが、不適切な適用は結果を劣化させた。これは、ドメインに適した設計の重要性を示している。
• 翻訳等変性を強制するアンチエイリアシングレイヤーの導入により性能が向上し、低データ環境下でより強いインダクティブバイアスを持つ特徴抽出器が有益であることが示された。
• グリーディコアセットサブサンプリングにより、性能に影響を与えずにメモリバンクのサイズを削減でき、効率的な推論を実現しながらも正確性を維持した。
• 最適化されたPatchCoreモデルは、少データ設定におけるVisAデータセットで新たなSOTAを達成し、先行するSOTA手法を上回った。
• 本アプローチは、CVPR 2023 VANDチャレンジの少データ異常検出トラックで1位を獲得し、実世界での有効性を裏付けた。