[논문 리뷰] Acoustic Feature Learning via Deep Variational Canonical Correlation Analysis

Qingming Tang, Weiran Wang외 1명|arXiv (Cornell University)|2017. 08. 11.

Music and Audio Processing참고 문헌 26인용 수 5

한 줄 요약

이 논문은 쌍체의 음성 및 운동 데이터로부터 강건한 음성 특징을 학습하기 위해 사전 학습된 사전 분포와 적대적 훈련을 활용한 사전 변수를 갖는 딥 변동형 공통 상관 분석(VCCAP) 및 그 확장 기법을 제안한다. VCCAP가 MFCC 및 이전 방법들을 능가하며, 특히 사전 학습된 사전 분포를 사용할 때 큰 컨텍스트 윈도우에서의 발화자 독립적 음소 인식 성능을 크게 향상시킴을 보여준다.

ABSTRACT

We study the problem of acoustic feature learning in the setting where we have access to another (non-acoustic) modality for feature learning but not at test time. We use deep variational canonical correlation analysis (VCCA), a recently proposed deep generative method for multi-view representation learning. We also extend VCCA with improved latent variable priors and with adversarial learning. Compared to other techniques for multi-view feature learning, VCCA's advantages include an intuitive latent variable interpretation and a variational lower bound objective that can be trained end-to-end efficiently. We compare VCCA and its extensions with previous feature learning methods on the University of Wisconsin X-ray Microbeam Database, and show that VCCA-based feature learning improves over previous methods for speaker-independent phonetic recognition.

연구 동기 및 목표

• 시험 시점에 음성 데이터만 이용 가능한 상황에서, 훈련 시 비음성 모odal(운동 데이터)을 활용하여 분류 가능한 음성 특징을 학습하는 문제를 해결하기 위해.
• 공유된 정보와 모odal 고유의 정보를 모두 모델링하기 위해, 시각별 전용 변수를 포함한 딥 변동형 CCA(VCCA)를 확장하기 위해.
• 학습된 사전 분포와 적대적 훈련을 도입하여, 대규모 컨텍스트 입력에 대한 일반화 능력과 성능을 향상시키기 위해.
• 유니버시티 오브 위스콘신 X-ray 마이크로빔 데이터베이스를 대상으로 발화자 독립적 음소 인식에 대해 방법을 평가하기 위해.
• 깊이 있는 생성적 다중 시각 학습이 전통적인 단일 시각 및 다중 시각 특징 학습보다 음성 응용에서 더 나은 성능을 낼 수 있는지 조사하기 위해.

제안 방법

• VCCAP는 음성 및 운동 데이터의 두 시각을 공유 잠재 변수 z와 시각별 전용 변수 hx 및 hy를 사용하여 모델링하며, p(x|z,hx)와 p(y|z,hy)는 딥 네ural 네트워크로 매개변수화된다.
• 모델은 로그우도의 변동형 하한을 최적화하여 확률적 경사 하강법을 사용한 엔드 투 엔드 훈련이 가능하다.
• 학습된 사전 분포는 작은 컨텍스트 윈도우(W=35)의 사후 분포를 사용해 큰 윈도우(W=71)의 사전 분포를 초기화함으로써 도입되며, 이는 일반화 능력을 향상시킨다.
• KL 발산 항목은 β=10으로 가중되어, 대규모 컨텍스트 학습에서 더 나은 분리성과 안정성을 유도한다.
• 적대적 훈련은 D1 및 D2와 같은 구분자들을 통해 적용되어 생성된 특징을 정교화하지만, 성능 향상은 미미하고 불안정하다.
• 최종 특징은 공유된 z 공간에서 추출되어 HMM/GMM 또는 CTC 기반의 음소 인식기에서 사용된다.

실험 결과

연구 질문

• RQ1 기존의 MFCC나 DCCA와 같은 전통적 방법보다, 전용 변수를 갖는 딥 변동형 CCA(VCCAP)가 더 강건한 음성 특징을 학습할 수 있는가?
• RQ2 대규모 입력 컨텍스트 윈도우를 사용할 때 학습된 사전 분포를 통합하면 음성 특징 학습 성능에 어떤 영향을 미치는가?
• RQ3 적대적 훈련은 음성 특징 품질과 후속 인식 정확도에 일관된 향상을 제공하는가?
• RQ4 사전 적응과 결합했을 때, VCCAP는 대규모 컨텍스트 윈도우(예: W=71)를 효과적으로 활용하여 음소 인식 성능을 향상시킬 수 있는가?
• RQ5 시각별 전용 변수는 특징 품질에 얼마나 기여하는가? 향후 음성 생성 작업에서 활용될 수 있는가?

주요 결과

• VCCAP는 기본 VCCA, 대비적, DCCA 방법보다 뛰어나며, 사전 학습된 사전 분포를 사용할 때 71프레임 컨텍스트 윈도우에서 개발 세트의 PER를 13.2%로 달성한다.
• 표준 N(0,I) 사전 분포를 사용할 경우 W=15에서 성능이 정점에 도달하고 W=71에서 성능이 떨어지지만, 사전 학습된 사전 분포를 사용할 경우 성능 향상이 뚜렷하다.
• KL 발산 가중치를 증가시켜(β=10) 성능을 향상시킬 수 있으며, 특히 사전 학습된 사전 분포와 결합했을 때 효과가 크다.
• 적대적 훈련을 통한 확장(VCCAP+GAN)은 성능 향상이 미미하며(0.1–0.4% PER 향상), 사전 분포 학습보다 안정성이 떨어진다.
• 최고의 성능을 보인 모델은 W=71 및 사전 학습된 사전 분포를 사용할 때 개발 세트의 PER를 13.2%로 달성하여, 대규모 컨텍스트 학습에서 사전 분포 적응의 효과를 입증한다.
• 결과는 향후 연구에서 반복 모델이 매우 긴 컨텍스트 윈도우를 처리하는 데 유리할 수 있음을 시사한다.