[논문 리뷰] Autoregressive Energy Machines

Charlie Nash, Conor Durkan|arXiv (Cornell University)|2019. 04. 11.

Advanced Memory and Neural Computing인용 수 19

한 줄 요약

논문은 비정규화된 에너지 함수를 학습하고 동시에 중요도 표본 추출을 통해 정규화 상수를 추정하는 데 자동회귀 분해를 사용하는 신경 밀도 추정기인 자동회귀 에너지 기계(Autoregressive Energy Machine, AEM)를 제안한다. 이는 저차원 조건부 분포에서 유연한 에너지 기반 모델링과 확장 가능한 정규화 상수 추정을 조합함으로써 밀도 추정 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Neural density estimators are flexible families of parametric models which have seen widespread use in unsupervised machine learning in recent years. Maximum-likelihood training typically dictates that these models be constrained to specify an explicit density. However, this limitation can be overcome by instead using a neural network to specify an energy function, or unnormalized density, which can subsequently be normalized to obtain a valid distribution. The challenge with this approach lies in accurately estimating the normalizing constant of the high-dimensional energy function. We propose the Autoregressive Energy Machine, an energy-based model which simultaneously learns an unnormalized density and computes an importance-sampling estimate of the normalizing constant for each conditional in an autoregressive decomposition. The Autoregressive Energy Machine achieves state-of-the-art performance on a suite of density-estimation tasks.

연구 동기 및 목표

• 날카로운 전이와 다중모달 분포를 포착하는 데 어려움을 겪는 명시적 밀도 모델의 한계를 극복하기 위해.
• 고차원 에너지 기반 모델에서 추정이 불가능한 정규화 상수를 해결하기 위해.
• 비정규화된 밀도를 모델링하기 위해 신경망을 사용하여 민감도 높고 고용량의 밀도 추정을 가능하게 하기 위해.
• 자기회귀 구조를 활용하여 정규화 상수 추정을 향상시키는 확장 가능한 훈련 방법을 개발하기 위해.
• 표준 밀도 추정 벤치마크에서 최고 수준의 로그우도 성능을 달성하기 위해.

제안 방법

• AEM은 각 변수에 대해 순차적으로 제안 파라미터와 컨텍스트 벡터를 계산하기 위해 자기회귀 신경망을 사용한다.
• 각 조건부 분포에 대해, 입력과 컨텍스트 벡터를 기반으로 비정규화된 로그 확률을 계산하기 위해 별도의 에너지 네트워크를 사용한다.
• 자기회귀 네트워크로 파arameterized된 제안 분포에서 20개의 표본을 사용하여 각 조건부 분포에 대해 정규화 상수의 중요도 표본 추정치를 계산한다.
• 총 로그 확률은 에너지 항의 합에서 정규화 상수의 중요도 표본 추정치의 로그를 빼서 근사한다.
• 확률적 경사 하강법을 사용하여 최대우도 기반으로 엔드 투 엔드로 모델을 훈련시킨다.
• 고차원 문제를 저차원 조건부 분포로 분해함으로써 정확한 밀도 평가와 효율적인 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비정규화된 밀도를 가진 에너지 기반 모델이 복잡한 데이터 분포에서 명시적 밀도 추정기보다 더 나은 성능을 낼 수 있는가?
• RQ2 자기회귀 분해가 고차원 에너지 모델에서 정규화 상수를 정확하고 확장 가능하게 추정하는 데 기여하는가?
• RQ3 제안 분포와 에너지 함수의 공동 학습이 정규화 상수 추정 및 밀도 모델링을 향상시키는가?
• RQ4 AEM이 표준 밀도 추정 벤치마크에서 기존 최고 수준의 모델을 능가할 수 있는가?
• RQ5 흐름 기반 모델이나 자기회귀 모델과 비교해 AEM이 날카로운 전이 또는 고주파 성분을 가진 분포를 어떻게 다루는가?

주요 결과

• AEM은 다양한 밀도 추정 작업에서 최고 성능을 달성하며, 벤치마크 데이터셋에서 기존 모델들을 능가한다.
• 이미지의 빛 분포와 같은 날카로운 전이를 가진 데이터에서 세부 정보를 효과적으로 유지하며, 명시적 조건부 분포를 사용하는 모델들보다 성능이 뛰어나다.
• 동적 이진화된 MNIST에서 AEM-VAE는 표준 정규 prior보다 크게 향상되며 경쟁적인 성능을 기록한다.
• 정규화 상수의 중요도 표본 추정치는 차원이 증가함에 따라 열악해지지만, 자기회귀 분해를 통해 저차원 조건부 분포에서 정규화 상수를 추정함으로써 이 문제를 완화한다.
• VAE 설정에서는 제안 분포 점수 향상이 없으며, 이는 집합 후행분포가 혼합 정규분포로 잘 모델링되기 때문일 것이다.
• 기존 자기회귀 모델과 흐름 기반 모델이 어려움을 겪는 저밀도 영역과 비연속적 밀도의 유연한 모델링이 가능하다.