[논문 리뷰] End-to-End Learning for the Deep Multivariate Probit Model

Di Chen, Yexiang Xue외 1명|arXiv (Cornell University)|2018. 07. 03.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 GPU 최적화된 병렬 샘플링을 통해 다변량 프로비트 추론을 가속화하는 엔드 투 엔드로 미분 가능한 딥러닝 프레임워크인 딥 다변량 프로비트 모델(DMVP)을 제안한다. 기존의 MVP 방법에 비해 최소 10배의 속도 향상을 달성하며, 공동 우도를 향상시키고 이론적 수렴 보장을 바탕으로 한 복잡한 엔터티 상관관계를 포착한다.

ABSTRACT

The multivariate probit model (MVP) is a popular classic model for studying binary responses of multiple entities. Nevertheless, the computational challenge of learning the MVP model, given that its likelihood involves integrating over a multidimensional constrained space of latent variables, significantly limits its application in practice. We propose a flexible deep generalization of the classic MVP, the Deep Multivariate Probit Model (DMVP), which is an end-to-end learning scheme that uses an efficient parallel sampling process of the multivariate probit model to exploit GPU-boosted deep neural networks. We present both theoretical and empirical analysis of the convergence behavior of DMVP's sampling process with respect to the resolution of the correlation structure. We provide convergence guarantees for DMVP and our empirical analysis demonstrates the advantages of DMVP's sampling compared with standard MCMC-based methods. We also show that when applied to multi-entity modelling problems, which are natural DMVP applications, DMVP trains faster than classical MVP, by at least an order of magnitude, captures rich correlations among entities, and further improves the joint likelihood of entities compared with several competitive models.

연구 동기 및 목표

• 잠재 변수에 대한 고차원 통합으로 인해 고전적인 다변량 프로비트 모델이 계산적으로 비가능해지는 문제를 해결하기 위해.
• 효율적이고 병렬적인 GPU 기반 샘플링을 사용하여 다변량 프로비트 모델의 엔드 투 엔드 학습을 가능하게 하는 딥러닝 프레임워크를 개발하기 위해.
• 딥 일반화된 MVP 모델의 샘플링 과정에 대한 이론적 수렴 보장을 제공하기 위해.
• 고전적 및 경쟁 모델에 비해 다중 엔터티 이진 반응 문제에서 공동 우도 및 상관관계 모델링을 향상시키기 위해.

제안 방법

• 다변량 프로비트 모델의 상관관계 구조를 매개변수화하는 다양한 딥 네ural 웹 아키텍처인 딥 다변량 프로비트 모델(DMVP)을 제안한다.
• 백프로파게이션과 GPU 가속화에 호환되는 병렬 샘플링 전략을 사용하여 다변량 프로비트 우도를 추론한다.
• 샘플링 과정을 딥러닝 파ip라인에 통합하여 확률적 경사 하강법을 통한 모델 파라미터의 엔드 투 엔드 최적화를 가능하게 한다.
• 잠재 변수 샘플링 과정을 통해 기울기 계산이 가능하게 하여 미분 가능성을 보장하기 위해 재구성 전략을 적용한다.
• 다양한 상관관계가 있는 엔터티들 간의 이진 결과를 동시에 모델링하는 다중 엔터티 모델링 작업에 방법을 적용한다.
• 샘플링 과정에서 상관관계 구조의 해상도에 관해 수렴성에 대한 이론적 분석을 제공한다.

실험 결과

연구 질문

• RQ1 고차원 잠재 상관관계를 갖는 다변량 프로비트 모델을 효율적이고 엔드 투 엔드로 효과적으로 학습시킬 수 있는 딥 네ural 웹 아키텍처를 설계할 수 있는가?
• RQ2 제안된 병렬 샘플링 방법은 다변량 프로비트 모델에서 표준 MCMC 기반 추론에 비해 더 빠른 수렴과 우수한 확장성을 달성하는가?
• RQ3 DMVP는 고전적 MVP 및 경쟁 모델에 비해 다중 엔터티 이진 반응 문제에서 공동 우도 및 상관관계 포착에 얼마나 향상되는가?
• RQ4 딥 다변량 프로비트 프레임워크의 샘플링 과정에 대해 어떤 이론적 보장이 제공될 수 있는가?

주요 결과

• DMVP 프레임워크는 다중 엔터티 모델링 작업에서 고전적인 다변량 프로비트 모델보다 최소한 한 계단 빠르게 학습된다.
• 제안된 샘플링 과정은 특히 고차원 상관관계 구조에서 표준 MCMC 기반 방법에 비해 열등한 수렴 행동을 보인다.
• DMVP는 몇몇 경쟁 모델에 비해 다중 엔터티 이진 반응 데이터에서 더 높은 공동 우도를 달성하여 더 나은 상관관계 모델링을 나타낸다.
• 이론적 분석은 샘플링 과정이 상관관계 구조의 해상도에 관해 수렴 보장을 확인한다.
• 엔드 투 엔드로 미분 가능한 설계는 딥 네ural 웹을 통한 복잡한 상관관계 패턴 최적화를 효과적으로 가능하게 한다.