[논문 리뷰] Learning Hierarchical Discrete Linguistic Units from Visually-Grounded Speech

David Harwath, Wei-Ning Hsu외 1명|arXiv (Cornell University)|2019. 11. 21.

Multimodal Machine Learning Applications참고 문헌 68인용 수 70

한 줄 요약

본 논문은 ResDAVEnet-VQ를 소개합니다. 시각적으로 구동되는 음성 모델로서 다중 벡터 양자화 계층을 사용해 계층적 이산 언어 단위를 학습하고, 하위 단어 ABX 성능이 우수하며 상위 계층에서 단어 유사 탐지기를 발견합니다.

ABSTRACT

In this paper, we present a method for learning discrete linguistic units by incorporating vector quantization layers into neural models of visually grounded speech. We show that our method is capable of capturing both word-level and sub-word units, depending on how it is configured. What differentiates this paper from prior work on speech unit learning is the choice of training objective. Rather than using a reconstruction-based loss, we use a discriminative, multimodal grounding objective which forces the learned units to be useful for semantic image retrieval. We evaluate the sub-word units on the ZeroSpeech 2019 challenge, achieving a 27.3\\% reduction in ABX error rate over the top-performing submission, while keeping the bitrate approximately the same. We also present experiments demonstrating the noise robustness of these units. Finally, we show that a model with multiple quantizers can simultaneously learn phone-like detectors at a lower layer and word-like detectors at a higher layer. We show that these detectors are highly accurate, discovering 279 words with an F1 score of greater than 0.5.

연구 동기 및 목표

• 전사 없이 음성으로부터 이산적이고 계층적인 언어 표현을 학습하도록 동기를 부여한다.
• 시각적 기초화를 차별적 자기지도 학습 목표로 활용하여 음성 표현을 형성한다.
• 여러 개의 vector quantization 계층을 삽입했을 때 하위 단어 및 단어 수준의 단위를 어떻게 만들어내는지 조사한다.
• 학습된 단위의 잡음 및 도메인 변화에 대한 강건성을 측정한다.
• 단어 유사 탐지기의 등장과 언어적 해석 가능성을 정량화한다.

제안 방법

• ResDAVEnet 시각적으로 구동되는 음성 모델에 다중 vector quantization (VQ) 계층(VQ2, VQ3)을 확장합니다.
• 재구성 손실(reconstruction loss) 대신 차별적이고 다중 모달 정합 목표로 학습합니다.
• VQ 코드북의 크기를 1024로 하여 Straight-Through 추정기와 EMA 업데이트를 사용합니다.
• 어떤 계층을 양자화할지와 시점을 제어하기 위해 cold-start 및 warm-start 커리큘라를 실험합니다.
• 임의로 샘플링된 음수와 반강한 음수를 결합한 트리플릿 기반 정합 손실로 엔드-투-엔드 학습합니다.
• ZeroSpeech ABX 및 R@10 지표와 함께 서브워드 단위 인벤토리를 위한 RLE 및 세그먼트 기반 비트레이트로 평가합니다.

실험 결과

연구 질문

• RQ1 재구성 손실 없이 시각적으로 구동되는 음성 모델에서 다중 VQ 계층이 계층적 이산 단위(하위 단어 및 단어 유사 단위)를 포착할 수 있는가?
• RQ2 어떤 계층이 양자화되는지와 언제 양자화되는지에 따른 학습 커리큘럼이 음성학적 단위와 어휘적 단위의 출현에 어떤 영향을 미치는가?
• RQ3 학습된 단위가 잡음 및 도메인 변화에 대해 비양자화 기반 기준선과 비교하여 강건한가?
• RQ4 상위 계층의 양자화기는 단어 유사 탐지기에 특화되며 실제 단어에 매핑될 수 있는가?
• RQ5 학습된 단위의 음성학적/단어 대응 측면에서의 해석 가능성은 어느 정도인가?

주요 결과

• 시각적 기초화에 의해 유도된 양자화는 VQ 계층의 삽입 위치와 방법에 따라 이산적 하위 단어 및 단어 유사 단위를 낳는다.
• 적절한 커리큘럼과 함께 VQ2를 포함한 모델은 비트레이트를 비슷하게 유지하면서 상위 ZeroSpeech 2019 제출 대비 27.3%의 ABX 향상을 달성한다.
• 두 개의 양자화기 구성은 하위 계층의 음성 탐지기와 상위 계층의 단어 유사 탐지기를 학습시킬 수 있으며, VQ3 계층은 단어 수준의 대응을 보인다. 한 모델은 F1이 0.5를 넘는 279개의 단어를 학습한다.
• 모델은 잡음에 대한 강건성을 보이며, 잡음 조건에서 ABX 구별 작업에서 WaveNet-VQ 기준선을 능가한다.
• 시각적 기초화는 해석 가능한 매핑을 가능하게 하며, VQ3 코드가 단어 유사 단위 및 검출 가능한 단어에 정렬되며 예시 단어-코드 연관 및 F1 기반 평가로 입증된다.
• 커리큘럼 효과: 상위 양자화기의 cold-start 학습은 ABX를 저해할 수 있지만 단어 탐지기를 나타내고, warm-start 또는 단계적 학습은 하위 계층의 음성 정보를 보존한다.