[論文レビュー] Semi-orthogonal Embedding for Efficient Unsupervised Anomaly Segmentation

Jin-Hwa Kim, Do-Hyeong Kim+2 more|arXiv (Cornell University)|May 31, 2021

Anomaly Detection Techniques and Applications参考文献 4被引用数 33

ひとこと要約

semi-orthogonal embedding を導入して局所的な Mahalanobis 距離を低ランクで近似し、unsupervised anomaly segmentation を実現。共分散の逆行列計算コストを劇的に削減しつつ、複数のベンチマークで最先端の結果を達成。

ABSTRACT

We present the efficiency of semi-orthogonal embedding for unsupervised anomaly segmentation. The multi-scale features from pre-trained CNNs are recently used for the localized Mahalanobis distances with significant performance. However, the increased feature size is problematic to scale up to the bigger CNNs, since it requires the batch-inverse of multi-dimensional covariance tensor. Here, we generalize an ad-hoc method, random feature selection, into semi-orthogonal embedding for robust approximation, cubically reducing the computational cost for the inverse of multi-dimensional covariance tensor. With the scrutiny of ablation studies, the proposed method achieves a new state-of-the-art with significant margins for the MVTec AD, KolektorSDD, KolektorSDD2, and mSTC datasets. The theoretical and empirical analyses offer insights and verification of our straightforward yet cost-effective approach.

研究の動機と目的

• マルチスケールCNN特徴を用いて、効率的な教師なし異常セグメンテーションを動機づける。
• 高価な逆行列計算の代わりに、精度行列の低ランクで頑健な近似を開発する。
• backbone のファインチューニングなしで計算およびメモリコストを削減する semi-orthogonal embedding を導入する。
• ランダム特徴サンプリングより提案手法を支持する実証的利得と理論的保証を示す。

提案手法

• 事前学習済みCNNからのマルチスケール特徴を用いて局所的なMahalanobis距離を形成する。
• 全共分散の逆行列を置換するために、サイズ F x k の semi-orthogonal 行列 W を用いた低ランク埋め込み。
• 最適な W が共分散 C の最小の k 個固有ベクトルと一致することを導出する（定理1）。
• W を Gaussian(X) 上の QR による一様分布の semi-orthogonal 行列として構築し、符号補正（Mezzadri 法）を適用する。
• 近似誤差の理論境界を示す（定理2および系論1）、および正交不変性を議論する（命題1 & 2）。
• 全ランク逆と比較して計算コストを O(HW k^3) へ三乗的に削減することを示し、標準的な異常データセットで評価する。

実験結果

リサーチクエスチョン

• RQ1 semi-orthogonal で低ランクの埋め込みは、局所的な Mahalanobis 距離における逆共分散を近似でき、セグメンテーション性能を失わずに済むか。
• RQ2 バックボーンネットワークからの分離は、ファインチューニングなしでより強力な識別モデルを効率的に利用できるか。
• RQ3 semi-orthogonal embedding は accuracy と efficiency の観点で、ランダム特徴サンプリングおよび全共分散アプローチとどのように比較されるか。
• RQ4 提案された低ランク精度行列近似の理論的誤差境界は何か。
• RQ5 提案された近似と組み合わせた場合、複数のCNN層からのマルチスケール特徴は異常セグメンテーションを改善するか。

主な発見

• 提案された低ランク・semi-orthogonal アプローチを用いて、MVTec AD、KolektorSDD、KolektorSDD2、mSTC データセットで最先端の結果を達成。
• 局所的な Mahalanobis 距離でほぼフル精度の性能を維持しつつ、計算およびメモリ要求を大幅に削減（キュービックオーダーの削減）。
• ランダム特徴サンプリングを上回る理由として、ランク崩れの回避と特徴のより良い利用が挙げられる。
• この手法が backbone のファインチューニングなしで高度な backbone モデルを活用できることを示す。
• semi-orthogonal embedding 下で期待距離が頑健であることを経験的に検証（k-orthonormal列は安定した性能をもたらす）。