[논문 리뷰] S3VAE: Self-Supervised Sequential VAE for Representation Disentanglement and Data Generation

Yizhe Zhu, Martin Renqiang Min외 2명|arXiv (Cornell University)|2020. 05. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 56인용 수 8

한 줄 요약

이 논문은 광학 흐름과 음향 세기와 같은 내재된 감독 신호를 활용하여 순차적 데이터 표현을 시간에 불변하는(정적) 요소와 시간에 따라 변하는(동적) 요소로 분리하는 자기지도 학습 순차적 변분 오토인코더인 S3VAE를 제안한다. 이 모델은 완전히 지도 학습된 방법과 비슷한 분리 성능를 달성하며, 비디오 및 음성 생성 과제에서 최신의 비지도 학습 모델을 초월한다.

ABSTRACT

We propose a sequential variational autoencoder to learn disentangled representations of sequential data (e.g., videos and audios) under self-supervision. Specifically, we exploit the benefits of some readily accessible supervisory signals from input data itself or some off-the-shelf functional models and accordingly design auxiliary tasks for our model to utilize these signals. With the supervision of the signals, our model can easily disentangle the representation of an input sequence into static factors and dynamic factors (i.e., time-invariant and time-varying parts). Comprehensive experiments across videos and audios verify the effectiveness of our model on representation disentanglement and generation of sequential data, and demonstrate that, our model with self-supervision performs comparable to, if not better than, the fully-supervised model with ground truth labels, and outperforms state-of-the-art unsupervised models by a large margin.

연구 동기 및 목표

• 영상과 음성과 같은 순차적 데이터에서 정체성과 운동 또는 톤과 언어적 내용과 같은 요소들을 분리해야 하는 도전 과제를 해결한다.
• 무료 초기화에 의존하고 인도적 편향이 부족해 실제 데이터에 일반화하기 어려운 비지도 학습 방법의 한계를 극복한다.
• 비용이 많이 드는 인간 레이블링에 의존하는 것을 줄이고, 데이터 자체나 사전 구축된 모델(예: 광학 흐름, 음향 에너지)에서 쉽게 확보할 수 있는 감독 신호를 활용한다.
• 자기지도 학습에 기반한 보조 작업과 정규화를 도입하여 순차적 VAE의 분리 및 생성 품질을 향상시킨다.
• 자기지도 학습이 순차적 데이터의 표현 분리에서 완전히 지도 학습된 방법과 동등하거나 그 이상의 성능을 달성할 수 있음을 보여준다.

제안 방법

• 정적 요소 $\bm{z}_f$(시간에 불변)와 동적 요소 $\bm{z}_t$(시간에 따라 변함)로 잠재 공간을 분해하는 순환 VAE 아키텍처를 제안한다.
• 입력 시퀀스의 시간 순서를 뒤섞어도 $\bm{z}_f$ 가 변하지 않도록 하는 정적 일관성 제약($\mathcal{L}_{SSC}$)을 도입한다.
• 영상 데이터의 광학 흐름이나 음성 세그먼트의 음량에서 운동 위치를 예측하는 동적 요소 예측 헤드($\mathcal{L}_{DFP}$)를 설계한다.
• $\bm{z}_f$ 와 $\bm{z}_t$ 사이의 상호정보 최소화($\mathcal{L}_{MI}$)를 적용하여 정보 유출을 줄여 분리를 촉진한다.
• 재구성 손실, 보조 감독 신호, 정규화를 조합하여 종합적으로 분리와 생성을 최적화하는 엔드 투 엔드 학습을 수행한다.
• 추가 학습이나 레이블링 없이도 사전 구축된 모델(예: 광학 흐름 추정기)을 활용해 감독 신호를 추출한다.

실험 결과

연구 질문

• RQ1 내재된 데이터 신호(예: 광학 흐름, 음향 에너지)에서 유도된 자기지도 학습이 비지도 학습 방법에 비해 순차적 표현의 분리를 효과적으로 향상시킬 수 있는가?
• RQ2 비용이 많이 드는 인간 레이블링에 의존하는 완전히 지도 학습된 모델의 성능을 자기지도 학습 보조 작업이 어느 정도 따라하거나 초월할 수 있는가?
• RQ3 정적 일관성, 동적 예측, 상호정보 정규화와 같은 개별 구성 요소가 잠재 공간의 분리에 어떤 기여를 하는가?
• RQ4 영상과 음성과 같은 다양한 모odal에서 모델이 일반화되면서도 강력한 분리 및 생성 품질을 유지할 수 있는가?
• RQ5 정적 요소와 동적 요소 간의 상호정보를 최소화함으로써 잠재 공간 내에서 의미적 요소가 더 깔끔하게 분리되는가?

주요 결과

• MUG 데이터셋에서 S3VAE는 완전한 지도 학습 구성 요소를 사용해 70.51%의 분리 정확도를 달성했으며, 아블레이션 버전과 베이스라인을 크게 능가했다.
• 아블레이션 연구에서 상호정보 정규화($\mathcal{L}_{MI}$)를 제거하면 정확도가 66.07%로 떨어지며, 이는 동적 코드에 외관 정보가 억제되지 않는 데서 기인함을 시사한다.
• 정적 일관성 손실($\mathcal{L}_{SSC}$)은 필수적이다. 이 손실을 제거하면 정확도가 61.45%로 떨어지며, 시간 순서 뒤섞기가 정적 요소를 분리하는 데 도움이 된다는 것을 확인한다.
• 동적 요소 예측 손실($\mathcal{L}_{DFP}$)은 운동 모델링에 매우 중요하다. 이 손실을 제거하면 정확도가 58.32%로 떨어지며, 이는 운동 정보가 이를 통해 잘 코딩되지 않는다는 것을 보여준다.
• TIMIT 데이터셋에서 S3VAE는 $\bm{z}_f$ 를 사용해 4.80%의 동일 오류율(EER)을 달성했으며, FHVAE와 DSVAE를 모두 능가했고, $\bm{z}_{1:T}$ 에서는 EER를 40.12%로 낮추어 톤 정보가 동적 코드에서 효과적으로 제거되었음을 시사한다.
• 정성적 결과는 $\mathcal{L}_{MI}$ 가 없을 경우 얼굴 특징인 콧수염이 동적 코드에 그대로 남아 있으며, $\mathcal{L}_{SSC}$ 가 없을 경우 정적 및 동적 요소가 여전히 뒤섞여 있음을 확인한다.