[논문 리뷰] Semi-orthogonal Embedding for Efficient Unsupervised Anomaly Segmentation

Jin-Hwa Kim, Do-Hyeong Kim외 2명|arXiv (Cornell University)|2021. 05. 31.

Anomaly Detection Techniques and Applications참고 문헌 4인용 수 33

한 줄 요약

무감독 이상탐지 세분화에서 국소 마할라노비스 거리의 저랭크 근사를 위해 반정직 직교(semi-orthogonal) 임베딩을 도입하여 공분산 역행렬 계산 비용을 크게 줄이면서 여러 벤치마크에서 최첨단 성능을 달성한다.

ABSTRACT

We present the efficiency of semi-orthogonal embedding for unsupervised anomaly segmentation. The multi-scale features from pre-trained CNNs are recently used for the localized Mahalanobis distances with significant performance. However, the increased feature size is problematic to scale up to the bigger CNNs, since it requires the batch-inverse of multi-dimensional covariance tensor. Here, we generalize an ad-hoc method, random feature selection, into semi-orthogonal embedding for robust approximation, cubically reducing the computational cost for the inverse of multi-dimensional covariance tensor. With the scrutiny of ablation studies, the proposed method achieves a new state-of-the-art with significant margins for the MVTec AD, KolektorSDD, KolektorSDD2, and mSTC datasets. The theoretical and empirical analyses offer insights and verification of our straightforward yet cost-effective approach.

연구 동기 및 목표

• 다중 스케일 CNN 특징을 이용한 효율적인 무감독 이상탐지 세분화를 촉진한다.
• 비싼 역행렬 계산을 대체하기 위한 저랭크이고 강건한 정밀도 행렬의 근사화를 개발한다.
• 백본 미세조정 없이 계산 및 메모리 비용을 줄이기 위해 반정직 임베딩을 도입한다.
• 랜덤 특징 샘플링보다 제안된 방법을 지지하는 실험적 이득과 이론적 보장을 제시한다.

제안 방법

• 사전 학습된 CNN의 다중 스케일 특징을 사용하여 국소화된 마할라노비스 거리를 형성한다.
• 전체 공분산 역행렬의 반전을 F x k 크기의 반정직 행렬 W를 이용한 저랭크 임베딩으로 대체한다.
• 최적의 W가 공분산 C의 k개의 최소 고유벡터들에 맞춘다는 것을 도출한다(정리 1).
• Gaussian(X)에 QR 분해를 적용한 후 부호 보정(Mezzadri 방법)을 통해 균일하게 분포된 반정직 행렬 W를 구성한다.
• 근사 오차에 대한 이론적 경계(정리 2 및 코리 1) 및 직교 불변성에 대해 논의한다(정리 1 및 정리 2)을 제공한다.
• 전체랭크 역전과 비교하여 계산 비용을 O(HW k^3)로 세제곱 감소시키는 것을 보여주고 표준 이상 탐지 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 반정직적이고 저랭크 임베딩이 국소화된 마할라노비스 거리의 역 공분산을 근사하되 세분화 성능 손실 없이 가능할까?
• RQ2 백본 네트워크로부터의 해체가 미세 조정 없이도 더 강한 식별 모델의 효율적 사용을 가능하게 하는가?
• RQ3 반정직 임베딩이 정확도와 효율성 측면에서 무작위 특징 샘플링 및 전체 공분산 접근법과 어떻게 비교되는가?
• RQ4 제안된 저랭크 정밀도 행렬 근사의 이론적 오차 경계는 무엇인가?
• RQ5 제안된 근사와 결합될 때 다중 CNN 층의 다중 스케일 특징이 이상 탐지 세분화를 향상시키는가?

주요 결과

• 제안된 저랭크 반정직 접근법을 사용하여 MVTec AD, KolektorSDD, KolektorSDD2 및 mSTC 데이터셋에서 최첨단 성능을 달성한다.
• 국소화된 마할라노비스 거리에서 거의 전체 정밀도 성능을 유지하면서 계산 및 메모리 요구를 크게 줄인다(세제곱 비용 감소).
• 랭크 붕괴를 피하고 더 나은 특징 활용으로 무작위 특징 샘플링보다 우수하다.
• 백본 미세조정 없이도 첨단 백본 모델을 활용할 수 있음을 보여준다.
• 반정직 임베딩 하의 기대 거리가 견고함을 실험적으로 검증한다(정렬된 k개의 직교 열이 안정적인 성능을 보임).