[논문 리뷰] Robust Variational Autoencoders for Outlier Detection and Repair of Mixed-Type Data

Simão Eduardo, Alfredo Nazábal외 2명|arXiv (Cornell University)|2019. 07. 15.

Anomaly Detection Techniques and Applications참고 문헌 5인용 수 4

한 줄 요약

이 논문은 혼합형 테이블 데이터에서 셀 수준의 이질적 데이터를 동시에 탐지하고 복구하는 딥 생성 모델인 강건한 변분 오토에인드어(Robust Variational Autoencoder, RVAE)를 제안한다. 각 특성은 정상 데이터를 위한 구성과 이질적 데이터를 위한 구성으로 이루어진 이중 성분 혼합 모델로 모델링되며, 학습 중에 비정상 셀의 기여도를 낮추고 하이브리드 추론 기법을 사용함으로써, 하이퍼파ram터 설정에 민감하지 않으면서도 이질적 데이터 탐지 및 복구 성능이 뛰어나다.

ABSTRACT

We focus on the problem of unsupervised cell outlier detection and repair in mixed-type tabular data. Traditional methods are concerned only with detecting which rows in the dataset are outliers. However, identifying which cells are corrupted in a specific row is an important problem in practice, and the very first step towards repairing them. We introduce the Robust Variational Autoencoder (RVAE), a deep generative model that learns the joint distribution of the clean data while identifying the outlier cells, allowing their imputation (repair). RVAE explicitly learns the probability of each cell being an outlier, balancing different likelihood models in the row outlier score, making the method suitable for outlier detection in mixed-type datasets. We show experimentally that not only RVAE performs better than several state-of-the-art methods in cell outlier detection and repair for tabular data, but also that is robust against the initial hyper-parameter selection.

연구 동기 및 목표

• 행 수준의 이상치에만 초점을 맞춘 비지도 이상치 탐지 기법의 한계를 메우기 위해, 셀 수준의 오염을 다루는 것.
• 특정 행 내에서 어떤 셀이 이질적인지 식별함으로써 정밀한 데이터 복구를 가능하게 하는 방법 개발.
• 연속형 및 이산형 특성으로 이루어진 혼합형 테이블 데이터를 통합적으로 다루며, 확률론적으로 일관된 이상치 점수 기준을 제공하는 것.
• 학습 중에 이질적 데이터의 영향을 낮춤으로써 딥 생성 모델의 이상치에 대한 강건성을 향상시키기.
• 라벨 데이터가 없거나 하이퍼파ram터 튜닝이 최소한으로 필요한 상황에서도 원칙적이고 일관된 이상치 점수를 제공하는 것.

제안 방법

• 각 특성에 대해 두 성분으로 이루어진 혼합 모델 도입: 하나는 정상 데이터를 모델링하고, 다른 하나는 이질적 셀을 고립시킴.
• 이상치 셀의 기여도를 낮추기 위해 강건한 발산(α-발산) 사용.
• 후행 추정을 향상시키기 위해 암시적 추론과 정확한 추론을 조합한 하이브리드 추론 기법 구현.
• VAE 프레임워크 내에서 연속형 특성은 정규 분포 가능도, 이산형 특성은 소프트맥스 가능도로 모델링.
• 혼합 성분 할당을 통해 각 셀이 이질적일 확률을 학습함으로써 셀 수준의 탐지 가능.
• 균형 잡힌 일관된 점수 기준을 사용해 특성 간 가능도를 조합함으로써 행 수준의 이상치 점수 구성.

실험 결과

연구 질문

• RQ1 라벨이 없는 환경에서 딥 생성 모델이 혼합형 테이블 데이터의 개별 셀 수준 이상치를 탐지하고 복구할 수 있는가?
• RQ2 딥 생성 모델에서 연속형과 이산형 특성 간에 통합적이고 비교 가능한 이상치 점수를 어떻게 구성할 수 있는가?
• RQ3 학습 중에 강건한 추론을 통합할 경우, 기존 VAE에 비해 이상치 탐지 및 데이터 복구 성능이 향상되는가?
• RQ4 특히 라벨이 없는 검증 세트가 존재할 경우, 하이퍼파ram터 선택에 대해 모델 성능이 얼마나 강건한가?
• RQ5 암시적 추론과 정확한 추론을 조합한 하이브리드 추론 전략이 기존 암시적 추론보다 이상치 탐지 과제에서 더 나은 성능을 낼 수 있는가?

주요 결과

• RVAE는 고소음 또는 복잡한 특성 유형을 가진 환경에서 혼합형 테이블 데이터의 셀 수준 이상치 탐지 및 복구에서 여러 최신 기법들을 능가한다.
• α 하이퍼파ram터의 다양한 값에서도 일관된 복구 성능 확보. 다만 α ≈ 0 또는 1에 가까운 극단적 값에서는 성능 저하가 발생하나, 이는 하이퍼파ram터 선택에 대한 강건성을 시사한다.
• 하이브리드 추론 기법은 표준 암시적 추론 대비 후행 추정과 모델 성능을 크게 향상시킨다.
• 혼합형 특성 간 가능도를 균형 잡힌 방식으로 조합한 제안된 행 수준 이상치 점수 기준은 이질적 행 탐지에 대해 일관되고 효과적인 측정 기준을 제공한다.
• 학습 중에 이상치의 영향을 낮춤으로써 오버피팅을 줄이고, 정상 데이터 분포의 정확한 추정이 가능해진다.
• 伝통적 VAE가 특성 유형 간 가능도가 비교 불가능한 문제로 인해 고차원의 혼합형 데이터셋에서 실패하는 상황에서도 RVAE는 셀 수준 이상치를 성공적으로 식별한다.