[论文解读] Semi-orthogonal Embedding for Efficient Unsupervised Anomaly Segmentation

Jin-Hwa Kim, Do-Hyeong Kim+2 more|arXiv (Cornell University)|May 31, 2021

Anomaly Detection Techniques and Applications参考文献 4被引用 33

一句话总结

引入半正交嵌入以低秩近似局部马氏距离，用于无监督异常分割，在显著降低协方差逆运算成本的同时，在多个基准上实现最先进的结果。

ABSTRACT

We present the efficiency of semi-orthogonal embedding for unsupervised anomaly segmentation. The multi-scale features from pre-trained CNNs are recently used for the localized Mahalanobis distances with significant performance. However, the increased feature size is problematic to scale up to the bigger CNNs, since it requires the batch-inverse of multi-dimensional covariance tensor. Here, we generalize an ad-hoc method, random feature selection, into semi-orthogonal embedding for robust approximation, cubically reducing the computational cost for the inverse of multi-dimensional covariance tensor. With the scrutiny of ablation studies, the proposed method achieves a new state-of-the-art with significant margins for the MVTec AD, KolektorSDD, KolektorSDD2, and mSTC datasets. The theoretical and empirical analyses offer insights and verification of our straightforward yet cost-effective approach.

研究动机与目标

• 启发使用多尺度CNN特征实现高效的无监督异常分割。
• 开发精度矩阵的低秩、鲁棒近似，以替代昂贵的逆运算。
• 引入半正交嵌入，在不进行主干网络微调的情况下降低计算和内存成本。
• 给出经验提升和理论保证，支持所提方法相对于随机特征采样的优势。

提出的方法

• 使用来自预训练CNN的多尺度特征来形成局部马氏距离。
• 通过大小为F x k的半正交矩阵W用低秩嵌入替代全协方差逆。
• 推导出最优的W与协方差C的k个最小特征向量对齐（定理1）。
• 将W构造成一个均匀分布的半正交矩阵，使用高斯矩阵Gaussian(X)上的QR分解再进行符号校正（Mezzadri方法）。
• 给出近似误差的理论界限（定理2和推论1）并讨论正交不变性（命题1和命题2）。
• 展示相比全秩逆运算在计算成本上降至三次幂的O(HW k^3)的立方减少，并在标准异常数据集上进行评估。

实验结果

研究问题

• RQ1 半正交、低秩嵌入能否在不损失分割性能的前提下近似局部马氏距离中的逆协方差？
• RQ2 与主干网络解耦是否使得无需微调就能够高效使用更强的判别模型？
• RQ3 在准确性和效率方面，半正交嵌入与随机特征采样和全协方差方法相比如何？
• RQ4 所提出的低秩精度矩阵近似的理论误差界限是什么？
• RQ5 将来自多层CNN的多尺度特征与所提近似结合时，是否能提高异常分割效果？

主要发现

• 在MVTec AD、KolektorSDD、KolektorSDD2和mSTC数据集上使用所提出的低秩半正交方法实现了最先进的结果。
• 显著降低计算和内存需求（成本立方下降），同时在局部马氏距离上保持近似全精度的性能。
• 优于随机特征采样，因为避免秩坍缩并更好地利用特征。
• 表明该方法能够利用先进的主干模型而无需对主干进行微调。
• 经验性验证在半正交嵌入下的期望距离保持稳健（k-正交列带来稳定的性能）。