[논문 리뷰] Transformation Autoregressive Networks

Junier B. Oliva, Avinava Dubey외 5명|arXiv (Cornell University)|2018. 01. 30.

Anomaly Detection Techniques and Applications참고 문헌 31인용 수 20

한 줄 요약

이 논문은 실수값 데이터의 밀도 추정을 향상시키기 위해 비선형 변수 변환과 자기회귀 모델링을 동시에 활용하는 새로운 프레임워크인 변환 자기회귀 네트워크(TANs)를 제안한다. RNN 기반 및 선형 변환을 포함한 역행성 변환과 유연한 자기회귀 조건부 모델(LAM 및 RAM)을 결합함으로써 TANs는 다양한 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하며, 단독 자기회귀 모델이나 노멀라이징 플로우 방법보다 밀도 추정 및 이상 탐지, 분포의 매개수 가족 학습과 같은 후행 작업에서 뚜렷한 우월성을 보인다.

ABSTRACT

The fundamental task of general density estimation $p(x)$ has been of keen interest to machine learning. In this work, we attempt to systematically characterize methods for density estimation. Broadly speaking, most of the existing methods can be categorized into either using: extit{a}) autoregressive models to estimate the conditional factors of the chain rule, $p(x_{i}\, |\, x_{i-1}, \ldots)$; or extit{b}) non-linear transformations of variables of a simple base distribution. Based on the study of the characteristics of these categories, we propose multiple novel methods for each category. For example we proposed RNN based transformations to model non-Markovian dependencies. Further, through a comprehensive study over both real world and synthetic data, we show for that jointly leveraging transformations of variables and autoregressive conditional models, results in a considerable improvement in performance. We illustrate the use of our models in outlier detection and image modeling. Finally we introduce a novel data driven framework for learning a family of distributions.

연구 동기 및 목표

• 단순히 자기회귀 모델링이나 노멀라이징 플로우에 의존하는 기존 밀도 추정 방법의 한계를 해결하기 위해.
• 변수 변환과 자기회귀 조건부 모델링을 동시에 활용하여 모델링의 유연성과 흐름 가능한 학습을 향상시키기 위해.
• 변환 및 조건부 모델링 모듈에 대한 새로운 효과적인 구성 요소를 개발하기 위해.
• 이상 탐지 및 분포의 매개수 가족 학습과 같은 후행 작업에서 TANs의 유용성을 입증하기 위해.
• 기본 매개수에 접근할 수 없더라도 데이터 기반 프레임워크를 통해 분포의 가족을 학습하기 위해.

제안 방법

• 조건부 밀도 추정을 위한 두 가지 새로운 자기회귀 모델인 선형 자기회귀 모델(LAM)과 순환 자기회귀 모델(RAM)을 제안한다.
• 새로운 역행성 변환을 도입한다: 학습 가능한 선형 변환, 공변수에 직접 작용하는 RNN 기반 변환, 그리고 덧셈 기반 RNN 기반 변환.
• 자기회귀 조건부 모델링을 위해 변화량 공식과 자코비안 행렬식을 사용하여 변환된 공간의 밀도를 원래 공간으로 매핑한다.
• 딥셋스를 통한 집합 임베딩을 공유하는 TAN 모델을 사용하여 매개수 가족 내 여러 분포를 동시에 모델링한다.
• 각 데이터 세트의 임베딩을 학습한 결과에 조건부로 설정한 수정된 우도 목표함수를 최적화한다.
• 성능 평가 및 추론 분석을 통해 우도 성능 기반으로 최적의 모델 구성 요소를 선별한다.

실험 결과

연구 질문

• RQ1 자기회귀 모델링과 비선형 변수 변환을 조합하면, 개별적으로 사용할 경우보다 더 나은 밀도 추정 성능를 달성할 수 있는가?
• RQ2 RNN 기반과 선형 변환 아키텍처와 같은 다양한 변환 아키텍처는 모델링 능력과 성능에 어떤 영향을 미치는가?
• RQ3 TANs는 고차원 데이터에서 복잡한 비 마르코프 성격의 의존성을 효과적으로 모델링할 수 있는가?
• RQ4 기본 진짜 매개수에 접근할 수 없더라도 TANs는 매개수 가족 내 새로운 분포에 일반화할 수 있는가?
• RQ5 공동 모델링 프레임워크는 이상 탐지와 같은 후행 작업에서 성능 향상에 기여하는가?

주요 결과

• TANs는 다양한 실세계 및 합성 데이터셋에서 단독 자기회귀 모델과 노멀라이징 플로우 방법보다 뚜렷한 우월성을 보이며, 밀도 추정에서 뛰어난 성능을 달성한다.
• 아블레이션 연구에서 RAM에 L RNN 변환과 LAM에 L RNN+4xAdd+Re 변환을 조합한 조합이 가장 뛰어난 우도 성능을 기록했다.
• 세 가지 벤치마크 데이터셋에서 이상치 탐지 평균 정밀도에서 최신 기술 수준을 달성하였으며, 저밀도 영역을 효과적으로 학습한 것으로 나타났다.
• ShapeNet의 새로운 카테고리에서 현실적인 샘플을 성공적으로 생성하여, 매개수 가족 내 새로운 분포로의 일반화 능력이 뛰어나다는 것을 입증했다.
• 기본 매개수에 접근할 수 없더라도, 분포의 가족을 학습하기 위한 데이터 기반 프레임워크는 진짜 매개수 없이도 제로샷 생성을 가능하게 한다.
• 아블레이션 연구에서 서로 다른 선형 조건부 모델과 RNN 기반 변환은 실제로 효과적이지만 이전에는 간과되었던 구성 요소임을 규명했다.