[論文レビュー] Anomaly Detection in Images

Manpreet Singh Minhas, John Zelek|arXiv (Cornell University)|May 9, 2019

Anomaly Detection Techniques and Applications参考文献 15被引用数 14

ひとこと要約

本稿では、事前学習済み畳み込みニューラルネットワーク（CNN）を用いた、異常検出を教師ありの二値分類問題として扱う、新しいネットワークベースの深層転移学習手法を提案する。限られた正常データ上でDenseNet-169、ResNet-152、Inception-V4などのモデルをファインチューニングすることにより、ベンチマーク全体で平均AUC 0.99を達成し、CIFAR10では先行手法よりも最大41%優れた性能を発揮した。

ABSTRACT

Visual defect assessment is a form of anomaly detection. This is very relevant in finding faults such as cracks and markings in various surface inspection tasks like pavement and automotive parts. The task involves detection of deviation/divergence of anomalous samples from the normal ones. Two of the major challenges in supervised anomaly detection are the lack of labelled training data and the low availability of anomaly instances. Semi-supervised methods which learn the underlying distribution of the normal samples and then measure the deviation/divergence from the estimated model as the anomaly score have limitations in their overall ability to detect anomalies. This paper proposes the application of network-based deep transfer learning using convolutional neural networks (CNNs) for the task of anomaly detection. Single class SVMs have been used in the past with some success, however we hypothesize that deeper networks for single class classification should perform better. Results obtained on established anomaly detection benchmarks as well as on a real-world dataset, show that the proposed method clearly outperforms the existing state-of-the-art methods, by achieving a staggering average area under the receiver operating characteristic curve value of 0.99 for the tested data-sets which is an average improvement of 41% on the CIFAR10, 20% on MNIST and 16% on Cement Crack data-sets.

研究の動機と目的

• 画像異常検出における異常サンプルの低頻度という課題に対処すること。
• 深層CNNを用いた転移学習によって、半教師ありおよび教師なし手法の限界を克服すること。
• 小さな正常画像のセットに対して事前学習済みCNNをファインチューニングすることで、優れた異常検出性能を達成できることを示すこと。
• 転移学習を用いた画像異常検出のための新しいSOTAベンチマークを確立すること。
• 標準ベンチマークおよび実世界のアスファルト舗装損傷データセットの両方で、手法の有効性を検証すること。

提案手法

• ImageNetから事前学習済みのCNNアーキテクチャ（例：DenseNet-169、ResNet-152、Inception-V4）を転移学習のソースモデルとして選択する。
• 事前学習済みネットワークの特徴抽出バックボーンを固定エンコーダとして用い、正常画像からの深層特徴を抽出する。
• 正常および異常画像の少数でバランスの取れたデータセット上で、ネットワークの最終分類ヘッドをファインチューニングする。
• 二値交差エントロピー損失を用いて、正常と異常サンプルを区別するようにモデルを学習する。
• 最終層のログティスまたは特徴表現を用い、学習されたしきい値により異常スコアを計算する。
• 異常スコアにしきい値を適用して、テストサンプルを正常または異常と分類する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みCNNを用いたネットワークベースの深層転移学習は、既存のSOTA手法を上回る性能を発揮できるか？
• RQ2 低データ環境下における異なるCNNアーキテクチャ（例：DenseNet-169、ResNet-152、Inception-V4）の異常検出性能は、どのように比較できるか？
• RQ3 転移学習は、画像異常検出における異常サンプルの不足という課題をどの程度軽減できるか？
• RQ4 提案手法は、標準ベンチマークにとどまらず、実世界のデータセットに対しても一般化できるか？
• RQ5 限られた正常データでのファインチューニングは、多様な異常タイプの検出能力にどのような影響を及えるか？

主な発見

• 提案手法は、全テストデータセットで平均受信者操作特性曲線下積分（AUC）が0.99に達し、先行SOTA手法を著しく上回った。
• CIFAR10データセットでは、GANomaly（前回SOTA）と比較してAUCが41%向上し、DenseNet-169は「車」クラスでAUC 0.9989を達成した。
• MNISTデータセットでは、全数字でAUCが0.99以上を達成し、DenseNet-169は「9」の数字でAUC 0.999386を記録し、GANomaly比で41%の向上を示した。
• 実世界のCement Crackデータセットでは、DenseNet-169がAUC 0.999998およびF1スコア95%を達成し、4,000個の異常サンプルのうち誤検出（偽陰性）はわずか7例にとどまり、ほぼ完璧な混同行列を示した。
• ResNet-152およびInception-V4もCement Crackデータセットでほぼ完璧な性能を示し、AUCはそれぞれ0.999986および0.998462を記録した。
• クラスあたり2,000枚の正常画像のみで学習しても、高い性能を維持でき、低データ環境下におけるロバスト性を示した。