[논문 리뷰] Rate-Distortion Optimization Guided Autoencoder for Isometric Embedding in Euclidean Latent Space

Keizo Kato, Jing Zhou외 2명|arXiv (Cornell University)|2019. 10. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 43인용 수 8

한 줄 요약

이 논문은 입력 공간과 잠재 공간 간에 항상 일정한 비율로 스케일링된 정규직교 자코비안 행렬을 강제하여 유클리드 잠재 공간에서 등장성 임bedding을 달성하는 rate-distortion optimization 지도 자동에코더인 RaDOGAGA를 제안한다. rate-distortion 이론과 정규직교 변환 코딩 원리를 활용하여 입력 공간과 잠재 공간 간의 확률 밀도 함수(PDF) 관계를 다룰 수 있게 하여, 사전학습되지 않은 이상치 탐지에서 최신 기술 대비 네 개의 공개 데이터셋에서 뚜렷한 성능 향상을 이룬다.

ABSTRACT

To analyze high-dimensional and complex data in the real world, deep generative models, such as variational autoencoder (VAE) embed data in a low-dimensional space (latent space) and learn a probabilistic model in the latent space. However, they struggle to accurately reproduce the probability distribution function (PDF) in the input space from that in the latent space. If the embedding were isometric, this issue can be solved, because the relation of PDFs can become tractable. To achieve isometric property, we propose Rate- Distortion Optimization guided autoencoder inspired by orthonormal transform coding. We show our method has the following properties: (i) the Jacobian matrix between the input space and a Euclidean latent space forms a constantlyscaled orthonormal system and enables isometric data embedding; (ii) the relation of PDFs in both spaces can become tractable one such as proportional relation. Furthermore, our method outperforms state-of-the-art methods in unsupervised anomaly detection with four public datasets.

연구 동기 및 목표

• 비모수적 자동에코더(VAE)의 한계를 해결하기 위해, 비등장성 잠재 공간 임베딩으로 인해 입력 공간의 확률 밀도 함수(PDF)를 정확히 재현하지 못하는 문제를 다루기 위해.
• 고차원 데이터를 저차원 유클리드 잠재 공간으로의 등장성 임베딩을 위한 이론적이고 실용적인 프레임워크를 수립하기 위해.
• 정규직교 자코비안 구조에 의해 지원되는 입력 공간과 잠재 공간의 PDF 간 비례 관계를 활용하여 입력 공간에서의 다루기 쉬운 PDF 추정을 가능하게 하기 위해.
• 잠재 공간에서 계산된 가능도가 입력 공간의 가능도를 정확히 반영하도록 보장하여 비모수적 이상치 탐지 성능을 향상시키기 위해.
• 딥 생성 모델링과 rate-distortion 이론을 융합하여, RDO 원칙이 자동에코더가 정규직교이고 등장성 표현으로 향하도록 이끌 수 있음을 보여주기 위해.

제안 방법

• 입력 공간과 잠재 공간 간의 자코비안 행렬이 항상 일정한 비율로 스케일링된 정규직교 시스템을 형성하도록 하는 rate-distortion 최적화(RDO) 목적함수를 제안한다.
• 자코비안의 정규직교성은 등장성 임베딩을 보장하여, 입력 공간의 거리가 상수 배율을 제외하고는 잠재 공간에서도 유지됨을 의미한다.
• 잠재 공간은 유클리드 공간으로 제약되며, 이는 가우시안 혼합 모델(GMM)이나 파라미터적 분포와 같은 표준 PDF 추정 기법을 사용할 수 있음을 의미한다.
• RDO 목적함수는 재구성 오차와 자코비안의 정규직교성을 강제하는 정규화 항을 균형 잡는 미분 가능한 손실 함수로 구현된다.
• 하이퍼파ram터는 각 데이터셋에 맞게 튜닝하여 Adam 옵timizer를 사용해 엔드 투 엔드로 학습하며, 조기 정지와 모델 체크포인팅을 적용한다.
• 입력 공간에서 다양한 데이터 유형에 적합한 탄력적인 거리 함수(예: 이진 데이터에 대한 BCE, 이미지에 대한 SSIM)를 지원하여 다양한 데이터 형식에의 적응성을 확보한다.

실험 결과

연구 질문

• RQ1 자기에코더에서 rate-distortion 최적화가 항상 일정한 비율로 스케일링된 정규직교 자코비안을 강제하여 유클리드 잠재 공간으로의 등장성 임베딩을 가능하게 할 수 있는가?
• RQ2 등장성 임베딩은 입력 공간과 잠재 공간의 확률 밀도 함수(PDF) 간에 다루기 쉬운 비례 관계를 가능하게 하는가?
• RQ3 기하학적으로 충실한 잠재 표현은 비등장성 VAE 기반 방법 대비 비모수적 이상치 탐지 정확도를 향상시키는가?
• RQ4 제안된 방법은 고차원 이미지와 혼합된 특성 유형을 가진 표본 데이터를 포함한 다양한 데이터 유형에 대해 강건한가?
• RQ5 RDO 지도 학습 목적함수는 깊은 자동에코더에서 정규직교 자코비안 구조를 어느 정도까지 이끌어내는가?

주요 결과

• RaDOGAGA는 네 개의 공개 데이터셋(KDDCUP99, Thyroid, Arrhythmia, KDDCUP-rev)에서 비모수적 이상치 탐지에서 최신 기술 수준의 성능을 달성했다.
• KDDCUP99 데이터셋에서 RaDOGAGA는 F1 스코어 0.9531 (±0.0017)을 기록하여 DAGMM의 0.9369를 초월했다.
• Thyroid 데이터셋에서 RaDOGAGA는 F1 스코어 0.5851 (±0.0459)을 기록하여 DAGMM의 0.4782보다 뚜렷한 향상을 이뤘다.
• KDDCUP-rev 데이터셋에서 RaDOGAGA는 F1 스코어 0.9795 (±0.0036)를 기록하여 DAGMM의 0.938을 뛰어넘었다.
• 모든 데이터셋에서 정밀도, 재현율, F1 스코어 등 모든 지표에서 일관된 향상을 보였으며, 이는 이전 연구와 동일한 네트워크 용량 조건에서도 성립했다.
• 제거 실험을 통해 정규직교 자코비안 구조가 성공적으로 학습되었음을 확인하여, 등장성 임베딩의 이론적 기반을 검증했다.