[논문 리뷰] Scaling Up Probabilistic Circuits by Latent Variable Distillation

Anji Liu, Honghua Zhang외 1명|arXiv (Cornell University)|2022. 10. 10.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 대규모 확률적 회로(Probabilistic Circuits, PCs)의 성능을 향상시키기 위해 심층 생성 모델(예: Transformer)의 지도를 활용해 잠재 변수를 할당하는 잠재 변수 정련(Latent Variable Distillation, LVD)을 제안한다. 이러한 정련된 할당을 사용해 가능도의 하한을 최적화함으로써, LVD는 대규모 PCs가 자신의 능력을 완전히 활용할 수 있도록 하여, 이미지 및 언어 모델링 벤치마크에서 최신 기술 수준의 성능을 달성한다. 유사한 성능을 유도하는 흐름 기반 모델과 변분 오토에코더(Variational Autoencoders)와도 경쟁 가능하다.

ABSTRACT

Probabilistic Circuits (PCs) are a unified framework for tractable probabilistic models that support efficient computation of various probabilistic queries (e.g., marginal probabilities). One key challenge is to scale PCs to model large and high-dimensional real-world datasets: we observe that as the number of parameters in PCs increases, their performance immediately plateaus. This phenomenon suggests that the existing optimizers fail to exploit the full expressive power of large PCs. We propose to overcome such bottleneck by latent variable distillation: we leverage the less tractable but more expressive deep generative models to provide extra supervision over the latent variables of PCs. Specifically, we extract information from Transformer-based generative models to assign values to latent variables of PCs, providing guidance to PC optimizers. Experiments on both image and language modeling benchmarks (e.g., ImageNet and WikiText-2) show that latent variable distillation substantially boosts the performance of large PCs compared to their counterparts without latent variable distillation. In particular, on the image modeling benchmarks, PCs achieve competitive performance against some of the widely-used deep generative models, including variational autoencoders and flow-based models, opening up new avenues for tractable generative modeling. Our code can be found at https://github.com/UCLA-StarAI/LVD.

연구 동기 및 목표

• 모델 용량을 늘림에도 불구하고 성능이 정체되는 현상을 해결하기 위해.
• 표현력이 풍부한 심층 생성 모델에서 유도된 잠재 변수 할당을 통해 추가 지도를 제공함으로써 대규모 PCs의 최적화를 향상시키기 위해.
• 표준 EM 최적화에 의존도를 줄임으로써 대규모 PCs의 스케일링 및 효율적인 훈련을 가능하게 하기 위해.
• LVD가 비학습 가능한 심층 생성 모델(예: VAE 및 흐름 기반 모델)과 경쟁 가능한 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• LVD는 사전 훈련된 심층 생성 모델(예: BERT 또는 Vision Transformer)의 신경망 임bedding을 사용해 훈련 예제를 군집화하고, PC 내 잠재 변수에 의미론적 값을 할당한다.
• 이 방법은 주어진 잠재 변수 할당을 지도로 사용해 주변 가능도의 하한을 최적화하는 수정된 훈련 목표를 도입한다: ∑ᵢ log p(x⁽ⁱ⁾, z⁽ⁱ⁾).
• 이 프레임워크는 초기 훈련 단계에서 이 하한 목표를 사용해 최적화를 이끌고, 이후 전체 최대 가능도 목표로의 피지테이닝을 수행한다.
• 이미지 모델링에 특화된 프레임워크는 이미지 패치 기반으로 PC를 구성하고, 패치별로 잠재 조건부 분포를 사용한다.
• 표본 효율성 향상과 훈련 시간 단축을 위해 파라미터 묶음(parameter tying)과 군집화 기법을 활용한다.
• 이 방법은 일반적이며 다양한 PC 아키텍처와 심층 생성 모델에 적용 가능하다.

실험 결과

연구 질문

• RQ1 잠재 변수 정련이 대규모 확률적 회로에서 발생하는 성능 정체를 효과적으로 극복할 수 있는가?
• RQ2 심층 생성 모델의 지도를 사용하면 대규모 PCs의 최적화와 표현력이 향상되는가?
• RQ3 LVD로 훈련된 PCs는 비학습 가능한 심층 생성 모델(예: VAE 및 흐름 기반 모델)과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 LVD는 대규모 PCs의 훈련 효율성과 확장성에 어떤 영향을 미치는가?

주요 결과

• ImageNet32에서 LVD로 훈련된 25M 파라미터 PC는 400M 파라미터 HCLT를 능가하며 뛰어난 표본 효율성을 보였다.
• LVD는 모델 크기가 증가함에 따라 테스트 세트의 디지털 당 비트 수(bits per dimension, bpd)가 점진적으로 감소함을 보여, 능력의 효과적인 활용을 입증했다.
• LVD를 사용해 단일 A5000 GPU에서 500M 파라미터 PC를 10시간 내에 훈련시켰으며, 기존 방법이 하루 이상 소요되는 것과 비교해 빠른 훈련 속도를 확보했다.
• ImageNet32 및 ImageNet64에서 LVD는 최신 기술 수준의 흐름 기반 모델과 VAE에 비해 bpd에서 0.1~0.3 범위 내에서 경쟁력을 보였다.
• CIFAR-10에서의 성능 격차는 데이터 부족 때문이며, 파라미터 묶음과 같은 아키텍처 수정을 통해 이 격차를 메울 수 있을 것으로 보인다.