[논문 리뷰] Vector-Quantized Autoregressive Predictive Coding

Yu-An Chung, Hao Tang외 1명|arXiv (Cornell University)|2020. 05. 17.

Speech Recognition and Synthesis참고 문헌 24인용 수 6

한 줄 요약

이 논문은 벡터 양자화를 통해 모델 용량을 명시적으로 제어하고 학습된 표현에서 정보가 어떻게 유지되는지 연구하는 자기지도 학습 음성 표현 모델인 벡터 양자화 자동회귀 예측 코드(VQ-APC)를 제안한다. VQ를 통해 용량을 제한함으로써 자기지도 학습 목적이 최적화될 때 음소 및 발화자 정보가 강화됨을 드러내며, 결과적으로 생성된 이산 코드는 영어 음소와 매우 밀접하게 대응된다.

ABSTRACT

Autoregressive Predictive Coding (APC), as a self-supervised objective, has enjoyed success in learning representations from large amounts of unlabeled data, and the learned representations are rich for many downstream tasks. However, the connection between low self-supervised loss and strong performance in downstream tasks remains unclear. In this work, we propose Vector-Quantized Autoregressive Predictive Coding (VQ-APC), a novel model that produces quantized representations, allowing us to explicitly control the amount of information encoded in the representations. By studying a sequence of increasingly limited models, we reveal the constituents of the learned representations. In particular, we confirm the presence of information with probing tasks, while showing the absence of information with mutual information, uncovering the model's preference in preserving speech information as its capacity becomes constrained. We find that there exists a point where phonetic and speaker information are amplified to maximize a self-supervised objective. As a byproduct, the learned codes for a particular model capacity correspond well to English phones.

연구 동기 및 목표

• 자기지도 학습 손실이 낮을수록 다운스트림 성능이 높아지는 데 대한 연결 고리를 조사하기 위해.
• 모델 용량이 제약받을 때 자동회귀 예측 코드(APC)를 통해 학습된 표현에 어떤 정보가 포함되어 있는지 이해하기 위해.
• 벡터 양자화(VQ)가 학습된 표현의 정보 내용을 제어하고 연구하는 데 정밀한 메커니즘으로 기능할 수 있는지 탐색하기 위해.
• 학습된 표현에 음소 및 발화자 정보가 포함되어 있는지, 그리고 이는 모델 용량에 따라 어떻게 변화하는지 확인하기 위해.
• VQ-APC가 생성하는 이산 코드가 영어 음소와 같은 의미 있는 언어 단위와 실제로 대응되는지 평가하기 위해.

제안 방법

• 자기지도 학습 목적이 유지되는 조건에서, 자동회귀 모델의 은닉층 간에 벡터 양자화 레이어를 삽입하여 브로드캐스트를 만드는 APC의 확장판인 VQ-APC를 도입한다.
• 예측된 향후 프레임과 진짜 프레임 사이의 L1 손실을 사용하여 모델을 훈련시키며, 원래의 APC 목표를 유지한다.
• 학습 가능한 코드북을 사용하여 은닉 표현을 양자화하며, 프레임당 비트 수는 코드북 크기와 시퀀스 길이에 의해 제어된다.
• 용량 제약 조건 하에서 정보 유지 정도를 분석하기 위해 다양한 코드북 크기를 가진 여러 구성에서 모델 행동을 연구한다.
• 음소 및 발화자 정보의 유무를 평가하기 위해 探색 작업과 상호정보량 추정을 활용한다.
• 선형 분류기를 사용하여 VQ-APC를 다른 자기지도 학습 모델(CPC, BMR, Mockingjay, MT-APC)과 음소 및 발화자 분류에서 비교한다.

Figure 1: A diagram of VQ-APC. $g_{AR}$ is an autoregressive model with $L$ layers with $g_{AR}^{(\ell)}$ denoting the $\ell$ -th layer and $h_{t}^{(\ell)}$ denoting the output vector of $g_{AR}^{(\ell)}$ at time $t$ . The figure is an example of inserting a VQ layer (area inside the dashed box) bet

실험 결과

연구 질문

• RQ1 벡터 양자화를 통해 모델 용량이 제약받을 때 APC 표현에 어떤 정보가 유지되는가?
• RQ2 모델 용량이 감소함에 따라 표현에 포함된 음소 및 발화자 정보의 존재 여부는 어떻게 변화하는가?
• RQ3 VQ-APC가 생성하는 이산 코드는 영어 음소와 같은 의미 있는 언어 단위와 대응되는가?
• RQ4 자기지도 예측 손실을 최소화하는 것과 학습된 표현의 다운스트림 성능 사이의 관계는 무엇인가?
• RQ5 대부분의 자기지도 학습 모델과 비교했을 때 VQ-APC는 표현 품질과 정보 내용 측면에서 어떤가?

주요 결과

• 음소 분류에서 VQ-APC는 28.4%의 음소 오류율을 기록하여 APC(33.3%)와 MT-APC(30.5%)를 능가하며, VQ가 표현 품질 향상에 효과적임을 입증한다.
• 발화자 분류에서 VQ-APC는 5.5%의 오류율을 기록하여 APC(8.5%)와 MT-APC(7.3%)를 능가하며, 가장 뛰어난 성능을 보인 모델인 Mockingjay(5.1%)와 유사한 성능을 보였다.
• 상호정보량 추정 결과, 더 큰 코드북일수록 정보량이 증가함을 확인: 코드북 크기 1, 2, 3일 때 정규화된 상호정보량은 각각 0.167, 0.285, 0.406이었다.
• 탐색 작업 결과, 더 큰 코드북을 사용할 경우 음소 및 발화자 정보가 표현에 존재하는 것으로 확인되었으며, 상호정보량 분석을 통해 작은 설정에서는 이러한 정보가 존재하지 않음을 확인했다.
• 특정 모델 용량에서 학습된 VQ 코드는 영어 음소와 강한 대응 관계를 보이며, 학습된 이산 단위가 언어학적으로 의미 있는 것으로 나타났다.
• 용량이 제약받을 때 모델이 음소 및 발화자 정보를 보존하는 데 선호함을 보이며, 브로드캐스트 조건에서 자기지도 목적이 이러한 정보를 암묵적으로 선호함을 시사한다.

Figure 2: Training loss (purple), phonetic classification (red), and speaker classification (blue) results of VQ-APC with VQ configuration $\{3\}$ using varying codebook sizes. The x-axis is the codebook size, decreasing from 2048 to 64, and the y-axis on the left is the corresponding phone error ra