[논문 리뷰] Representation Learning for Sequence Data with Deep Autoencoding Predictive Components

Junwen Bai, Weiran Wang외 2명|arXiv (Cornell University)|2020. 10. 06.

Speech Recognition and Synthesis참고 문헌 61인용 수 6

한 줄 요약

이 논문은 시퀀스 데이터를 위한 자기지도 학습 표현 학습 방법인 딥 오토인코딩 예측 성분(DAPC)을 제안한다. 이 방법은 과거와 미래 윈도우 간의 상호정보를 정확한 가우시안 기반 추정치를 사용하여 잠재 공간에서 예측 정보를 최대화하면서, 음성 샘플링을 피함으로써 잠재 공간 내에서의 예측 정보를 극대화한다. 이와 동시에 마스킹 복원 손실을 결합하여 열악한 성능을 방지하며, 최소한의 사전학습 비용으로도 자동 음성 인식에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose Deep Autoencoding Predictive Components (DAPC) -- a self-supervised representation learning method for sequence data, based on the intuition that useful representations of sequence data should exhibit a simple structure in the latent space. We encourage this latent structure by maximizing an estimate of predictive information of latent feature sequences, which is the mutual information between past and future windows at each time step. In contrast to the mutual information lower bound commonly used by contrastive learning, the estimate of predictive information we adopt is exact under a Gaussian assumption. Additionally, it can be computed without negative sampling. To reduce the degeneracy of the latent space extracted by powerful encoders and keep useful information from the inputs, we regularize predictive information learning with a challenging masked reconstruction loss. We demonstrate that our method recovers the latent space of noisy dynamical systems, extracts predictive features for forecasting tasks, and improves automatic speech recognition when used to pretrain the encoder on large amounts of unlabeled data.

연구 동기 및 목표

• 대조 학습에 의존하지 않고 시퀀스 데이터의 잠재적 역학을 포착할 수 있는 자기지도 학습 표현 학습 방법을 개발하는 것.
• 강력한 인코더를 사용할 때 예측 정보 최대화 방법에서 발생하는 잠재 표현의 열악함 문제를 해결하기 위해 예측 정보 최대화와 마스킹 복원을 결합하는 것.
• 가우시안 가정 하에 예측 정보의 정확하고 다루기 쉬운 추정치를 제공하여 음성 샘플링이 필요 없도록 하는 것.
• 효율적인 사전학습을 통해 예측 및 자동 음성 인식 등의 최종 작업 성능을 향상시키는 것.
• 더 높은 샘플 효율성을 보장하는 대비 학습을 위한 일반적인 대안을 제공하는 것.

제안 방법

• DAPC는 가우시안 가정 하에 정확한 상호정보 추정치를 사용하여 과거와 미래 잠재 윈도우 간의 예측 정보(Predictive Information, PI)를 최대화함으로써 음성 샘플링이 필요 없도록 한다.
• 이 방법은 입력 시퀀스를 잠재 표현으로 매핑하는 딥 인코더를 사용하며, 잠재 시퀀스 길이가 입력과 일치한다.
• 입력 특징과 시간 세그먼트를 무작위로 마스킹한 후, 잠재 코드로부터 복원함으로써 마스킹 복원 손실을 적용하여 입력 정보를 유지한다.
• 예측 정보 최대화와 마스킹 복원을 하나의 학습 목표에 통합하며, 변분 추론 해석을 가진다.
• 성능 향상을 위해 다중 척도 예측 정보 및 이동 복원 변형을 지원한다.
• 모델은 백프로파게이션을 통해 엔드 투 엔드로 훈련되며, 최종 인코더는 제한된 레이블 데이터로 최종 작업에 대해 미세조정된다.

실험 결과

연구 질문

• RQ1 가우시안 가정 하에서 예측 정보 추정이 대조 학습에 비해 더 정확하고 다루기 쉬운 대안이 될 수 있는가?
• RQ2 강력한 인코더를 사용할 때 예측 정보 최대화를 수행할 경우 잠재 표현의 열악함 문제를 어떻게 완화할 수 있는가?
• RQ3 예측 정보 최대화와 마스킹 복원을 결합함으로써 다양한 시퀀스 작업에서 표현 품질이 얼마나 향상되는가?
• RQ4 DAPC는 훨씬 적은 레이블 데이터와 더 작은 모델 크기로 자동 음성 인식에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 DAPC는 CPC, wav2vec, vq-wav2vec와 같은 기존 자기지도 학습 방법과 비교해 최종 작업 정확도와 효율성 측면에서 어떻게 다른가?

주요 결과

• WSJ 데이터셋에서 DAPC는 다중 척도 PI와 이동 복원을 모두 사용하여 사전학습이 없는 기준 모델 대비 eval92에서 11.7% 감소, dev93에서 7.9% 감소한 WER를 기록했다.
• LibriSpeech에서 최고의 DAPC 변형은 test_clean에서 WER 4.70%를 기록하여 기준 모델 대비 15% 상대적 향상과 마스킹 복원만 사용한 경우 대비 8% 절대적 향상을 달성했다.
• 제거 분석 결과, 다중 척도 PI와 이동 복원을 결합한 조합이 가장 뛰어난 성능을 보였으며, 15시간의 데이터로 미세조정했을 때 가장 강력한 변형이 eval92에서 WER를 11.7% 감소시켰다.
• DAPC는 wav2vec 2.0(300M 파라미터)와 같은 최신 기술 수준의 방법들에 비해 훨씬 작은 모델 크기(약 30M 파라미터)로도 경쟁 가능한 성능을 달성하여 높은 샘플 효율성을 보였다.
• 합성 실험에서 고차원의 노이즈가 많은 동적 시스템으로부터 저차원의 역학을 성공적으로 복원하여, 기반 구조를 분리하는 능력을 입증했다.
• DAPC를 변분 오토인코더에 예측 목표를 추가한 확률적 해석으로 제공함으로써 이론적 기반을 확보하고 딥 생성 모델과의 연결 고리를 마련했다.