[논문 리뷰] Contrastively Disentangled Sequential Variational Autoencoder

Junwen Bai, Weiran Wang외 1명|arXiv (Cornell University)|2021. 10. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 58인용 수 14

한 줄 요약

이 논문은 시퀀셜 데이터에서 자기지도 학습을 통한 분리 표현 학습을 위한 새로운 방법인 대비적으로 분리된 순차적 변분 오토에코더(C-DSVAE)를 제안한다. 이는 잠재 공간에서 정적(시간에 불변하는) 요소와 동적(시간에 변화하는) 요소를 명시적으로 분리함으로써 이루어지며, 상호정보량의 대비적 추정을 통해 분리도를 촉진하고 데이터 증강을 통해 인도크티브 비아스를 통합함으로써 영상 및 음성 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Self-supervised disentangled representation learning is a critical task in sequence modeling. The learnt representations contribute to better model interpretability as well as the data generation, and improve the sample efficiency for downstream tasks. We propose a novel sequence representation learning method, named Contrastively Disentangled Sequential Variational Autoencoder (C-DSVAE), to extract and separate the static (time-invariant) and dynamic (time-variant) factors in the latent space. Different from previous sequential variational autoencoder methods, we use a novel evidence lower bound which maximizes the mutual information between the input and the latent factors, while penalizes the mutual information between the static and dynamic factors. We leverage contrastive estimations of the mutual information terms in training, together with simple yet effective augmentation techniques, to introduce additional inductive biases. Our experiments show that C-DSVAE significantly outperforms the previous state-of-the-art methods on multiple metrics.

연구 동기 및 목표

• 시퀀셜 데이터에서 정적(시간에 불변하는) 요소와 동적(시간에 변화하는) 요소를 분리하는 분리된 표현을 학습하여 이해 가능성과 샘플 효율성을 향상시키기.
• 특히 고차원 시퀀셜 데이터에서 강력한 인도크티브 비아스 없이도 의미 있는 분리도를 학습하는 데 도전하기.
• 대비 학습과 데이터 증강을 통합하여 상호정보량 추정을 향상시켜 표현 품질을 개선하기.
• 대비 추정과 순차적 VAE를 유기적으로 융합하는 원리적인 프레임워크를 개발하기.

제안 방법

• C-DSVAE는 정적 요소 $ s $ 와 동적 요소 $ z_{1:T} $ 를 포함하는 인과적 잠재 공간을 사용하여 입력 시퀀스의 결합 가능도를 모델링하며, $ p(s, z_{1:T}) = p(s)p(z_{1:T}) $ 라고 가정한다.
• 입력 $ x_{1:T} $ 와 잠재 요소 $ s, z_{1:T} $ 간의 상호정보량을 최대화하고, $ s $ 와 $ z_{1:T} $ 간의 상호정보량을 최소화하는 새로운 근사 하한(ELBO)을 도입한다.
• 대비 추정을 사용하여 상호정보량 항을 근사하며, 증강된 시각 자료인 운동 증강 $ x_{1:T}^m $ 과 콘텐츠 증강 $ x_{1:T}^c $ 를 활용해 양성 쌍을 생성한다.
• 모델은 데이터 증강을 통해 대비 학습을 위한 양성 샘플을 생성한다: $ z_{1:T}^m $ 은 운동에 대해 $ z_{1:T} $ 와 양성 쌍이 되며, $ s^c $ 는 콘텐츠에 대해 $ s $ 와 양성 쌍이 된다.
• 학습 목표는 $ I(s; x_{1:T}) $ 와 $ I(z_{1:T}; x_{1:T}) $ 에 대한 대비 추정을 포함하지만, $ I(s; z_{1:T}) $ 는 미니배치 가중 샘플링(MWS)을 통해 추정한다.
• 아키텍처는 순차적 인코딩을 위해 LSTMs를 사용하고, $ s $ 와 $ z_i $ 를 모두 활용하여 프레임을 디코딩함으로써 분리된 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 대비적 상호정보량 추정은 순차적 변분 오토에코더에서 분리도를 향상시키는가?
• RQ2 대비 학습과 데이터 증강의 조합은 시퀀셜 데이터의 불변 표현 학습에 얼마나 효과적인가?
• RQ3 정적 및 동적 요소를 분리하는 것이 표준 VAE에 비해 더 나은 분리도와 후속 작업 성능을 제공하는가?
• RQ4 대비 추정은 분리된 표현 학습에서 표준 MWS 기반 MI 추정보다 얼마나 뛰어나게 작용하는가?
• RQ5 콘텐츠와 운동을 별도로 유지하면서도 잠재 공간에서 매끄럽고 의미 있는 보간을 유지할 수 있는가?

주요 결과

• MUG 데이터셋에서 C-DSVAE는 81.16%의 정확도를 기록하여 DSVAE(54.29%)와 모든 MWS 추정을 사용한 DSVAE(66.25%)를 크게 앞서며 성능을 뛰어넘었다.
• SM-MNIST에서 C-DSVAE는 97.84%의 정확도를 달성하여 DSVAE(88.19%)와 모든 MWS를 사용한 DSVAE(91.81%)를 초월했다.
• TIMIT에서 Fréchet Audio Distance(FAD)와 Inception Score(IS) 모두 향상되었으며, 배치 크기 256일 때 콘텐츠 EER은 4.03%, 운동 EER은 31.81%를 기록했다.
• 대비적 상호정보량 추정은 MWS로 측정한 $ I(s; x_{1:T}) $ 에 대해 단조적으로 증가하는 경향을 보이며, 효과적인 표현 학습을 의미한다.
• 잠재 공간의 보간 분석 결과, 콘텐츠 전환은 매끄럽고 운동은 유지되며, 이는 잠재 공간 내에서의 분리도와 연속성을 입증한다.
• 제거 실험 결과, MWS 기반 MI 추정보다 대비 추정이 성능 향상에 더 기여함을 확인하였으며, 이는 유용한 인도크티브 비아스를 통합하는 데서의 역할을 강조한다.