[논문 리뷰] Generative Probabilistic Novelty Detection with Adversarial Autoencoders

Stanislav Pidhorskyi, Ranya Almohsen외 2명|arXiv (Cornell University)|2018. 07. 06.

Anomaly Detection Techniques and Applications참고 문헌 50인용 수 140

한 줄 요약

GPND는 적합인 분포를 파라미터화된 다양체로 학습하고 적대적 오토인코더를 사용하며 생성 기반의 적합인 확률을 계산해 새로움을 감지하고, 여러 벤치마크에서 최첨단 결과를 달성합니다.

ABSTRACT

Novelty detection is the problem of identifying whether a new data point is considered to be an inlier or an outlier. We assume that training data is available to describe only the inlier distribution. Recent approaches primarily leverage deep encoder-decoder network architectures to compute a reconstruction error that is used to either compute a novelty score or to train a one-class classifier. While we too leverage a novel network of that kind, we take a probabilistic approach and effectively compute how likely is that a sample was generated by the inlier distribution. We achieve this with two main contributions. First, we make the computation of the novelty probability feasible because we linearize the parameterized manifold capturing the underlying structure of the inlier distribution, and show how the probability factorizes and can be computed with respect to local coordinates of the manifold tangent space. Second, we improved the training of the autoencoder network. An extensive set of results show that the approach achieves state-of-the-art results on several benchmark datasets.

연구 동기 및 목표

• 오직 적합인(inlier) 데이터만 이용 가능한 상황에서 새로움 탐지를 동기화한다.
• 적합인 분포를 인코더-디코더 네트워크가 학습한 파라미터화된 다양체로 모델링한다.
• 다양체를 선형화하고 접선 공간과 노이즈 성분을 따라 분포를 분해하여 적합인 확률을 계산한다.
• 더 나은 생성 및 탐지를 위해 잠재 공간과 디코더 출력의 규제를 위한 두 개의 판별기로 학습을 강화한다.
• 다양한 이미지 데이터셋과 평가 지표에서 최첨단 성능을 시연한다.

제안 방법

• 적합인 데이터를 x = f(z) + ξ로 나타내며, z는 잠재 공간에 있고 f는 다양체 M을 모델링한다.
• 투영된 점에서 f를 선형화하여 접선 공간 T를 얻고 좌표 회전을 통해 W 평행 구성요소와 W 수직 구성요소를 수행한다.
• 독립성을 가정하여 pX(x) = pW∥(w∥) pW⊥(w⊥)를 도출하고, inliers에 대해 pX(x̄) ≥ γ, outliers에 대해 < γ인 computable novelty test를 도출한다.
• 두 개의 판별기 Dz(잠재 공간 사전 분포용)와 Dx(디코더 출력 현실성 용)와 함께 Adversarial Autoencoder를 통해 f와 g(인코더/디코더)를 학습하고 자동인코더 재구성 손실도 더한다.
• 훈련 후 오프라인으로 pZ(z)를 추정하고 노름의 히스토그램으로 p‖W⊥‖를 모델링하며, 구성요소를 결합하여 pX(x̄)를 새로움 점수로 얻는다.

실험 결과

연구 질문

• RQ1 새로움 탐지를 재건 오차 기반 점수가 아닌 학습된 적합인 분포에 대한 확률 평가로 어떻게 표현할 수 있는가?
• RQ2 적합인 다양체의 접선 공간(국소 선형) 근사가 새로운 샘플에 대한 적합인 확률의 실행 가능한 계산을 가능하게 할 수 있는가?
• RQ3 잠재 공간과 디코딩된 출력 모두에 대해 적대적 정규화를 도입하는 것이 학습된 적합인 다양체의 품질과 새로움 탐지의 정확도를 향상시키는가?
• RQ4 다양한 적합인/이상치 설정에서 GPND가 기존 최첨단 방법들과 비교하여 어떤 성능을 보이는가?

주요 결과

• GPND는 MNIST, Coil-100, Fashion-MNIST, CIFAR-10/100 및 기타 벤치마크에서 강력한, 종종 최첨단 성능을 달성한다.
• 이 방법은 전체 적합인 확률 분포를 모델링함으로써 재구성 오차 기반 방법 및 원클래스 분류기보다 일관되게 개선된다.
• 이중 적대적 학습(잠재 공간 및 출력 분포)과 자동인코더 손실의 조합이 다양체 충실도와 더 날카로운 새로움 판별을 가져온다.
• 다양체의 국소 선형화와 접선/노이즈 좌표의 독립성을 통해 새로움 점수의 실행 가능한 계산이 가능해져 실제 테스트 시간을 가능하게 한다.
• ODIN과 비교할 때 GPND는 경쟁력이 있으며 라벨 정보를 필요로 하지 않으면서도 클래스 수가 많은 데이터셋에서 OdIN을 능가할 수 있다.