[논문 리뷰] Correlated Variational Auto-Encoders

Da Tang, Dawen Liang외 2명|arXiv (Cornell University)|2019. 05. 14.

Gene expression and cancer classification인용 수 10

한 줄 요약

이 논문은 알려진 데이터 포인트 상관관계 구조를 잠재 공간에 통합하기 위해 상관관계가 있는 사전을 사용하는 상관관계 있는 변분 오토인코더(cVAEs)를 제안한다. 비가역적인 ELBO를 상관관계 그래프의 최대 비순환 부분그래프들 위에서의 유한한 하한값들의 평균을 통해 근사화함으로써, cVAEs는 링크 예측, 사용자 매칭, 스펙트럼 클러스터링 작업에서 표준 VAE와 GraphSAGE를 능가한다.

ABSTRACT

Variational Auto-Encoders (VAEs) are capable of learning latent representations for high dimensional data. However, due to the i.i.d. assumption, VAEs only optimize the singleton variational distributions and fail to account for the correlations between data points, which might be crucial for learning latent representations from dataset where a priori we know correlations exist. We propose Correlated Variational Auto-Encoders (CVAEs) that can take the correlation structure into consideration when learning latent representations with VAEs. CVAEs apply a prior based on the correlation structure. To address the intractability introduced by the correlated prior, we develop an approximation by average of a set of tractable lower bounds over all maximal acyclic subgraphs of the undirected correlation graph. Experimental results on matching and link prediction on public benchmark rating datasets and spectral clustering on a synthetic dataset show the effectiveness of the proposed method over baseline algorithms.

연구 동기 및 목표

• 표준 VAE가 i.i.d. 가정으로 인해 데이터 포인트 간 상관관계를 모델링하는 데 한계를 가진다는 문제를 해결하기 위해.
• 예를 들어 그래프 구조 데이터와 같이 알려진 상관관계 구조를 잠재 변수에 대한 상관관계 있는 사전을 통해 VAE 프레임워크에 통합하기 위해.
• 상관관계 있는 사전으로 인해 발생하는 비가역적인 ELBO에 대한 실용적인 추론 방법을 개발하기 위해.
• 구조화된 잠재 표현을 사용하여 링크 예측, 사용자 매칭, 클러스터링과 같은 후행 작업에서 성능을 향상시키기 위해.

제안 방법

• 완전히 인라인화된 변분 사후를 사용하는 cVAE_ind와 쌍별 잠재 의존성을 포함하는 cVAE_corr의 두 변형을 제안한다.
• 기본적으로 알려진 무방향 상관관계 그래프의 구조를 존중하는 잠재 변수에 대한 상관관계 있는 사전을 도입한다.
• 상관관계 있는 사전으로 인해 발생하는 ELBO의 비가역성을 상관관계 그래프의 모든 최대 비순환 부분그래프 위에서의 하한값들의 평균을 통해 해결한다.
• cVAE_ind에서는 인라인화된 변분 사후를, cVAE_corr에서는 구조화된 사후를 사용하여 암시적 추론을 개선한다.
• 재구성 오차와 상관관계 있는 사전을 고려한 KL 발산 항을 포함하는 변분 하한값을 사용한다.
• 실제 데이터셋(예: 영화 및 제품 평점)과 나무 구조를 가진 합성 데이터에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 알려진 데이터 포인트 상관관계 구조를 VAE 사전에 통합함으로써 잠재 표현 학습 성능을 향상시킬 수 있는가?
• RQ2 상관관계 있는 사전으로 인해 발생하는 비가역적인 ELBO는 실무적으로 어떻게 효율적으로 근사할 수 있는가?
• RQ3 변분 사후에서 쌍별 의존성을 모델링하는(cVAE_corr) 것이 단일 요소 근사(예: cVAE_ind)보다 더 나은 성능을 내는가?
• RQ4 상관관계가 존재할 경우, cVAEs는 링크 예측 및 사용자 매칭과 같은 작업에서 표준 VAE와 GraphSAGE를 능가하는가?
• RQ5 복잡하고 희박하게 연결된 상관관계 그래프에서 cVAE_corr의 성능에 정규화가 어떻게 영향을 미치는가?

주요 결과

• cVAE_ind와 cVAE_corr는 모두 링크 예측에서 표준 VAE와 GraphSAGE를 능가하며, 제품 평점 데이터셋에서 cVAE_corr는 정규화된 CRR 0.0171 ± 0.0009를 기록한다.
• 영화 추천 데이터셋에서 cVAE_ind는 VAE(0.0052 ± 0.0007)와 GraphSAGE(0.0115 ± 0.0025)보다 높은 정규화된 CRR(0.0160 ± 0.0004)를 달성한다.
• 합성 나무 구조 데이터셋에서의 스펙트럼 클러스터링에서 cVAE_corr는 0.98의 클러스터링 정확도를 기록하여 기준 VAE를 크게 능가한다.
• cVAE_corr에서 큰 정규화 값(γ = 1000)을 사용하면 복잡하고 희박하게 연결된 상관관계 그래프에서 성능 향상이 이루어지며, 잠재 상관관계 학습이 향상된다.
• 최대 비순환 부분그래프들 위에서의 하한값 평균은 비가역적인 ELBO에 대해 안정적이고 효과적인 근사를 제공하여 확장 가능한 훈련을 가능하게 한다.
• cVAE_corr는 항상 cVAE_ind를 능가하며, 변분 사후에서 쌍별 잠재 의존성을 모델링하는 것이 유의미한 이점을 제공함을 입증한다.