[논문 리뷰] Technical report: Training Mixture Density Networks with full covariance matrices

Jakob Kruse|arXiv (Cornell University)|2020. 03. 04.

Bayesian Methods and Mixture Models참고 문헌 1인용 수 6

한 줄 요약

이 논문은 Mixture Density Networks(MDNs)를 완전 공분산 행렬을 사용하여 훈련시키는 방법을 제안한다. 정밀도 행렬을 하삼각행렬의 콜레스키 분해를 통해 매개변수화하여, 복잡하고 상관관계가 있는 조건부 분포를 모델링할 수 있도록 한다. 이 방법은 미분 가능한 로그우도 최적화를 통한 엔드 투 엔드 훈련과, 역행렬 변환을 통한 효율적인 샘플링을 지원한다.

ABSTRACT

Mixture Density Networks are a tried and tested tool for modelling conditional probability distributions. As such, they constitute a great baseline for novel approaches to this problem. In the standard formulation, an MDN takes some input and outputs parameters for a Gaussian mixture model with restrictions on the mixture components' covariance. Since covariance between random variables is a central issue in the conditional modeling problems we were investigating, I derived and implemented an MDN formulation with unrestricted covariances. It is likely that this has been done before, but I could not find any resources online. For this reason, I have documented my approach in the form of this technical report, in hopes that it may be useful to others facing a similar situation.

연구 동기 및 목표

• 완전 공분산 행렬을 사용하여 조건부 확률 분포를 모델링할 수 있도록 Mixture Density Networks(MDNs)를 가능하게 하여, 대각 공분산 가정의 한계를 극복한다.
• 딥러닝에서 역전파를 위해 적합한, 미분 가능하고 수치적으로 안정된 완전 공분산 행렬의 매개변수화를 제공한다.
• 정밀도 행렬의 콜레스키 분해를 사용하여 제약이 없는 공분산을 갖는 MDNs의 효율적 훈련과 샘플링을 지원한다.
• 연구자들이 유사한 과제에 직면할 경우 활용할 수 있는 실용적인 구현을 문서화하고 공유한다.

제안 방법

• 각 가우시안 성분의 역공분산 행렬(정밀도 행렬)을 하삼각행렬 U를 통해 콜레스키 분해를 이용해 매개변수화하여, 양의 정부호성을 보장한다.
• 콜레스키 인자 U를 사용하여 로그밀도 기여도를 −½‖U(x−μ)‖²₂ + Σⱼ log(Uⱼⱼ)로 계산한다. 여기서 Uⱼⱼ는 대각성분이다.
• 데이터에 대한 혼합 모델 하에서의 음의 로그우도를 최소화함으로써 최대우도 추정을 사용하여 MDN을 훈련한다. 훈련 안정성을 향상시키기 위해 저스든 부등식 기반 상한을 사용한다.
• 정밀도 행렬의 콜레스키 인자를 역행렬하여 샘플링을 미분 가능하게 만들며, x = μ + Lη를 통해 샘플을 생성한다. 여기서 L = U⁻ᵀ이며, η ∼ N(0, I)이다.
• 신경망으로부터 유도된 조건부 입력 ω, μ, U를 사용하여, 정규화 흐름에서의 역행렬 블록으로서 완전 공분산 MDN을 통합한다.
• PyTorch와 FrEIA 프레임워크를 사용하여 모델을 구현하였으며, 음의 로그우도 손실을 통해 GMM 블록을 역전파 가능하게 한다.

실험 결과

연구 질문

• RQ1 완전 공분산 행렬을 사용함으로써, 대각 행렬 대비 복잡하고 상관관계가 있는 조건부 분포를 효과적으로 모델링할 수 있는가?
• RQ2 완전 공분산 행렬을 딥러닝에서 사용할 수 있도록, 미분 가능하고 수치적으로 안정적인 방식으로 어떻게 매개변수화할 수 있는가?
• RQ3 완전 공분산 행렬을 사용할 경우, 조건부 밀도 추정에서 MDNs의 훈련 안정성과 성능에 어떤 영향을 미치는가?
• RQ4 완전 공분산 MDN은 정규화 흐름과 같은 역행렬 아키텍처에 통합될 수 있으며, 미분 가능성과 효율적 샘플링을 유지할 수 있는가?

주요 결과

• 정밀도 행렬의 제안된 콜레스키 매개변수화 방식은 양의 정부호성을 보장하고, 완전 공분산 행렬을 갖는 MDNs의 미분 가능한 훈련을 가능하게 한다.
• 콜레스키 인자 U를 사용한 로그밀도 계산은 ‖U(x−μ)‖²₂와 추적 항목을 통해 안정적이고 효율적인 혼합 모델 평가를 가능하게 한다.
• 저스든 부등식 기반 상한을 사용한, 음의 로그우도 목표 함수를 통한 역전파 기반 엔드 투 엔드 훈련이 가능하며, 이는 초기 훈련 안정성을 향상시킨다.
• 정밀도 행렬의 콜레스키 인자를 역행렬하여, 다변량 가우시안 성분에서 샘플을 생성함으로써 효율적 샘플링이 구현된다.
• 구현은 FrEIA 프레임워크에 역행렬 GMM 블록으로 통합되어, 정규화 흐름과 조건부 밀도 모델링에서 사용 가능하다.
• 이 방법은 특히 상관관계가 있는 출력을 모델링이 필요한 상황에서, 연구자들이 사용할 수 있는 실용적이고 재사용 가능한 솔루션을 제공한다.