[논문 리뷰] Variable-rate discrete representation learning

Sander Dieleman, Charlie Nash외 2명|arXiv (Cornell University)|2021. 03. 10.

Speech Recognition and Synthesis참고 문헌 91인용 수 10

한 줄 요약

이 논문은 주목할 만한 사건을 식별하고 런레ング스 인코딩을 가능하게 하여 음성 신호의 가변 속도 이산 표현을 학습하기 위해 슬로우 오토에인코드어(SlowAEs)를 도입한다. 런레ング스 트랜스포머(RLTs)와 결합함으로써, 이 방법은 감독 없이도 의미적으로 일관되고 문법적으로 올바른 음성 연속을 생성하며, 사건 기반의 희박하게 변화하는 표현을 통해 충실한 재구성과 적응형 계산을 달성한다.

ABSTRACT

Semantically meaningful information content in perceptual signals is usually unevenly distributed. In speech signals for example, there are often many silences, and the speed of pronunciation can vary considerably. In this work, we propose slow autoencoders (SlowAEs) for unsupervised learning of high-level variable-rate discrete representations of sequences, and apply them to speech. We show that the resulting event-based representations automatically grow or shrink depending on the density of salient information in the input signals, while still allowing for faithful signal reconstruction. We develop run-length Transformers (RLTs) for event-based representation modelling and use them to construct language models in the speech domain, which are able to generate grammatical and semantically coherent utterances and continuations.

연구 동기 및 목표

• 청각 자극(예: 음성)의 고수준, 이산적, 가변 속도 표현을 학습하여 주목할 만한 정보의 밀도에 따라 적응시키는 것.
• 수동적인 주석 없이도 의미 있는 사건(예: 음소 전이)을 자동으로 식별할 수 있는 비지도 학습 방법을 개발하는 것.
• 이벤트 기반 표현을 효율적으로 모델링하기 위해 런레ング스 구조를 활용하는 시퀀스 모델, 런레ング스 트랜스포머(RLTs)를 설계하는 것.
• 이러한 표현이 효과적인 음성 생성 모델링을 지원하여 일관되고 문법적으로 올바른 발화를 생성할 수 있음을 보여주는 것.
• 고정된 시간 간격이 아닌 청각적으로 관련 있는 콘텐츠에 맞춰 모델 복잡도를 조정함으로써 계산 및 메모리 비용을 줄이는 것.

제안 방법

• 슬로우 오토에인코드어(SlowAEs)는 적응형 그룹-희박한 느림 페널티를 사용하여 이산 표현 값이 천천히 변화하도록 유도함으로써 이벤트 기반의 구조를 촉진한다.
• 새로운 스칼라 양자화 전략은 이산 출력이 런레ング스 인코딩에 적합하도록 하여 가변 속도 표현을 가능하게 한다.
• 이 방법은 감독 없이 원시 음성에서 직접 표현을 학습하며, 재구성 오차를 최소화하고 시간적 매끄러움을 강제함으로써 작동한다.
• 런레ング스 트랜스포머(RLTs)는 (값, 길이) 튜플을 처리하여 이벤트 시퀀스를 자동으로 순차적으로 모델링하며, 런레ング스 구조를 활용해 효율성을 높인다.
• 이 프레임워크는 SlowAEs와 RLTs를 종단 간(end-to-end)으로 결합하여 오디오북 데이터에서 음성 언어 모델을 훈련하고, 일관된 음성 샘플을 생성한다.
• 학습된 표현에서 이벤트 밀도는 의미적 콘텐츠(예: 음소 변화)와 상관관계가 있으며, 이는 적응형 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비지도 학습이 음성 신호에서 음성학적 또는 언어학적 감독 없이 주목할 만한 사건을 식별할 수 있는가?
• RQ2 입력의 정보 밀도에 따라 크기가 조정되는 이산적, 가변 속도 표현을 학습할 수 있는가?
• RQ3 런레ング스 인코딩이 효율적이고 구조화된 자동회귀 모델을 통해 이벤트 기반 표현을 효과적으로 모델링하는 데 활용될 수 있는가?
• RQ4 이러한 시스템은 어떤 형태의 감독 없이도 의미적으로 일관되고 문법적으로 올바른 음성 연속을 생성할 수 있는가?
• RQ5 결과로 도출된 표현은 정보가 적은 세그먼트에서 계산 비용을 줄이며 충실한 신호 재구성도 가능하게 하는가?

주요 결과

• SlowAE 모델은 주목할 만한 정보의 밀도에 따라 자연스럽게 길이가 증가하거나 감소하는 이산 표현을 학습하며, 이는 가변 속도 인코딩을 가능하게 한다.
• 결과로 도출된 이벤트 기반 표현은 런레ング스 인코딩에 적합하여 표현 크기를 줄이고 효율적인 모델링을 가능하게 한다.
• 런레ング스 트랜스포머(RLTs)는 성공적으로 이벤트 시퀀스를 모델링하며, 새로운 문법적으로 정확하고 의미적으로 일관된 음성 발화를 생성한다.
• 이 시스템은 원시 음성과 언어학적 감독 없이도 충실한 신호 재구성을 달성하며, 이는 비지도 이벤트 기반 표현 학습의 힘을 입증한다.
• 의미 있는 사건에만 계산을 집중함으로써 침묵 또는 활동이 적은 세그먼트에서 계산 비용을 줄이는 데 기여한다.
• 학습된 표현은 시점 정보를 정확히 포착하지만, 아직 말의 지속 시간 변동성을 추상화하지는 못하고 있다.