[논문 리뷰] Further Analysis of Outlier Detection with Deep Generative Models

Ziyu Wang, Bin Dai외 2명|arXiv (Cornell University)|2020. 10. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 34인용 수 10

한 줄 요약

이 논문은 시간 시리즈의 약한 stationarity와 화이트 노이즈 성질에 기반한 새로운 이상치 탐지 테스트를 제안하며, 우도 기반 이상치 탐지가 모델 校정 오류 때문이 아니라 일반 집합과 고밀도 영역 간의 불일치 때문임을 입증한다. 제안된 방법은 표준 우도 테스트를 능가하며, 심지어 간단한 모델이라도 DGM의 실패 모드를 모방할 수 있음을 보여주며, 평가 기준의 재검토를 당부한다.

ABSTRACT

The recent, counter-intuitive discovery that deep generative models (DGMs) can frequently assign a higher likelihood to outliers has implications for both outlier detection applications as well as our overall understanding of generative modeling. In this work, we present a possible explanation for this phenomenon, starting from the observation that a model's typical set and high-density region may not conincide. From this vantage point we propose a novel outlier test, the empirical success of which suggests that the failure of existing likelihood-based outlier tests does not necessarily imply that the corresponding generative model is uncalibrated. We also conduct additional experiments to help disentangle the impact of low-level texture versus high-level semantics in differentiating outliers. In aggregate, these results suggest that modifications to the standard evaluation practices and benchmarks commonly applied in the literature are needed.

연구 동기 및 목표

• 딥 생성 모델(DGMs)이 의미적으로 다른 이상치에 대해 내재된 데이터에 비해 더 높은 우도를 부여하는 이유를 설명하는 것.
• 유한하고 완벽하지 않은 데이터 하에서 일반성 원칙을 일반화하는 더 견고한 이상치 탐지 테스트를 개발하는 것.
• 우도 기반 테스트의 실패가 모델 校정 오류의 최종 증거가 아니라는 것을 입증하는 것.
• 저수준의 무늬에 의존하는 것이 아니라 고수준의 의미적 의미를 기반으로 하지 않는 현재의 이상치 탐지 벤치마크의 결함을 드러내는 것.
• DGM의 의미적 이해를 더 잘 평가하기 위해 평가 관행과 새로운 벤치마크를 재검토할 것을 주장하는 것.

제안 방법

• 내재 데이터에서 재구성된 시계열의 자기상관 구조를 이용한 화이트 노이즈 테스트를 제안하며, 엄격한 IID 조건을 약한 stationarity 기준으로 대체한다.
• 문헌에서 기존의 시계열 진단 기법을 적용하여 화이트 노이즈에서의 이탈을 탐지함으로써 분포 외 샘플을 식별한다.
• 모델 샘플링을 통해 내재 데이터에서 테스트 시계열을 구성하고, 제안된 테스트 하에서 그 통계적 성질을 평가한다.
• 여러 DGM과 데이터셋에서 표준 우도 기반 이상치 탐지 및 기타 일반성 기반 방법과 비교하여 제안된 테스트의 성능을 평가한다.
• 다변량 정규분포 모델을 사용하여 관찰된 실패 모드가 복잡한 DGM에만 국한되지 않고 근본적인 통계적 성질에서 기인한다는 것을 보여준다.
• 저수준의 무늬에 의존하는 것을 줄이고 DGM의 의미적 일반화 능력을 더 잘 평가하기 위해 새로운 벤치마크를 설계한다.

실험 결과

연구 질문

• RQ1 왜 딥 생성 모델(DGMs)이 의미적으로 다른 이상치에 대해 내재된 데이터보다 더 높은 우도를 부여하는가?
• RQ2 약한 stationarity와 화이트 노이즈 성질에 기반한 테스트가 표준 우도 기반 이상치 탐지보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ3 우도 기반 테스트의 실패가 모델 校정 오류 때문인지, 아니면 본질적인 통계적 한계 때문인지 어느 정도인가?
• RQ4 현재의 벤치마크가 왜 무늬 기반 이상치 탐지보다 의미 기반 이상치 탐지에 유리하게 작용하는가?
• RQ5 다변량 정규분포와 같은 단순한 모델이 복잡한 DGM에서 관찰된 실패 모드를 재현할 수 있는가?

주요 결과

• 제안된 화이트 노이즈 기반 이상치 테스트는 표준 평가 환경에서 우도 기반 테스트를 일관되게 능가하며, 이는 우도 실패가 모델 校정 오류의 최종 증거가 아니라는 것을 시사한다.
• 심지어 단순한 다변량 정규분포 모델이라도 이상치에 대해 내재된 데이터보다 더 높은 우도를 부여할 수 있으며, 이는 이 현상이 딥 생성 모델에만 국한되지 않음을 보여준다.
• 현재의 벤치마크는 이미지 공간에서 선형 자기상관을 통해 이상치 탐지가 성공할 수 있도록 허용하여 의미적 이해를 제대로 평가하지 못하고 있음을 시사한다.
• 일반 집합과 고밀도 영역 간의 불일치가 우도 기반 테스트의 실패 원인을 설명하지만, 이는 모델 校정 문제를 의미하지는 않는다.
• 기존의 평가 관행은 저수준의 이미지 통계에 의존함으로써 DGM의 이상치 탐지 성능을 과대평가할 수 있다.
• 의미적 차이를 강조하고 무늬 기반 신호에 대한 의존도를 줄이는 데 초점을 맞춘 새로운 벤치마크의 필요성을 제기한다.