[논문 리뷰] Sequence to Multi-Sequence Learning via Conditional Chain Mapping for Mixture Signals

Jing Shi, Xuankai Chang외 6명|arXiv (Cornell University)|2020. 06. 24.

Fault Detection and Control SystemsEngineering인용 수 21

한 줄 요약

이 논문은 확률적 체인 규칙를 사용하여 다수의 출력 시퀀스 간의 의존성을 모델링함으로써 표준 시퀀스-투-시퀀스 학습을 일대다 시퀀스 변환으로 확장하는 조건부 체인(CondChain) 모델을 제안한다. 입력과 이전에 생성된 시퀀스에 조건을 두어 각 출력 시퀀스를 생성함으로써, 변동 길이의 출력 생성이 가능해지고, 계산 오버헤드를 최소화하면서도 음성 분離 및 다중화자 ASR에서 비조건부 기반 모델보다 일관된 성능 향상을 달성한다.

ABSTRACT

Neural sequence-to-sequence models are well established for applications which can be cast as mapping a single input sequence into a single output sequence. In this work, we focus on one-to-many sequence transduction problems, such as extracting multiple sequential sources from a mixture sequence. We extend the standard sequence-to-sequence model to a conditional multi-sequence model, which explicitly models the relevance between multiple output sequences with the probabilistic chain rule. Based on this extension, our model can conditionally infer output sequences one-by-one by making use of both input and previously-estimated contextual output sequences. This model additionally has a simple and efficient stop criterion for the end of the transduction, making it able to infer the variable number of output sequences. We take speech data as a primary test field to evaluate our methods since the observed speech data is often composed of multiple sources due to the nature of the superposition principle of sound waves. Experiments on several different tasks including speech separation and multi-speaker speech recognition show that our conditional multi-sequence models lead to consistent improvements over the conventional non-conditional models.

연구 동기 및 목표

• 혼합 신호, 특히 음성 처리 분야에서 기존 일대다 시퀀스 변환 방법의 한계를 해결하기 위해.
• 일련의 출력 시퀀스 간의 내재된 관계를 모델링함으로써, 순차적 및 병렬 매핑 접근 방식이 효과적으로 포착하지 못하는 관계를 포괄하기 위해.
• 시퀀스 변환 작업에서 간단하고 효과적인 정지 기준을 통해 변동 길이의 출력 생성을 가능하게 하기 위해.
• 각 출력을 이전 출력과 입력에 조건부로 설정함으로써 음성 분리 및 다중화자 ASR 성능을 향상시키기 위해.
• 음성 분야를 초월한 다양한 일대다 시퀀스 작업에 적용 가능한 통합적이고 일반화 가능한 프레임워크를 제공하기 위해.

제안 방법

• 모델는 표준 seq2seq에 어텐션을 추가한 것을 확장하여, 다수의 출력 시퀀스의 결합 분포를 인수화하기 위해 확률적 체인 규칙를 사용한다.
• 각 출력 시퀀스는 입력 시퀀스와 이전에 생성된 모든 출력 시퀀스에 조건을 두고 순차적으로 생성된다.
• 학습 가능한 정지 기준을 통해 변동 길이의 출력 생성을 지원하며, 이는 시퀀스 생성 과정의 종료 시점을 결정한다.
• 음성 분리 및 ASR에 대해 TasNet과 CTC-정렬된 감독을 사용하여 구현하며, 웨이브폼 및 정렬 신호에 대한 공동 학습을 수행한다.
• 반복적 개선은 다수의 생성 단계를 연결함으로써 모델링되며, 각 단계는 이전 출력에 조건을 두어 반복적 신호 재추정을 모방한다.
• 모델는 단계 간에 공통된 아키텍처와 초모수를 공유하며, 종단간 학습을 통해 효율적인 파라미터 공유와 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합적인 일대다 시퀀스 모델은 혼합 신호 작업에서 다수의 출력 시퀀스 간의 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 이전 출력과 입력에 조건을 두어 각 출력 시퀀스를 생성하는 것이 음성 분리 및 다중화자 ASR 성능 향상에 기여하는가?
• RQ3 모델은 출력 간 정확한 상관관계가 있는 작업, 예를 들어 반복적 음성 노이즈 제거 작업에 일반화될 수 있는가?
• RQ4 의미적 감독(예: CTC 정렬)의 포함 여부가 조건부 체인 모델의 성능에 어떤 영향을 미치는가?
• RQ5 정확도와 유연성 측면에서 조건부 체인 접근 방식이 순차적 및 병렬 매핑 파라다임을 모두 초월하는가?

주요 결과

• CTC 정렬을 의미적 조건으로 사용할 경우 SI-SNRi에서 0.3 dB 향상된 결과를 기록하여, 구조화된 감독의 유용성을 입증하였다.
• 웨이브폼과 CTC 정렬 조건을 함께 피나이팅한 결과 WER가 14.4%로 감소하여, 웨이브폼 전용 조건에서의 15.3% WER보다 유의미한 향상이 이루어졌다.
• 반복적 음성 노이즈 제거 작업에서 조건부 체인 모델의 두 번째 단계는 SDR 18.0 dB, SDRi 8.9 dB를 기록하여 첫 번째 단계와 기준 TasNet을 모두 능가했다.
• 모델 크기의 유의미한 증가 없이도 음성 분리 및 다중화자 ASR 작업 모두에서 일관된 성능 향상을 달성했다.
• 결과적으로 SI-SNRi가 항상 ASR 성능의 신뢰할 수 있는 지표는 아니며, 작업별 평가 지표의 중요성을 강조하였다.
• 반복적 조건부 설정을 통한 출력 개선 능력은 순차적 의존성 모델링에서 높은 적응성과 일반화 능력을 보여주었다.