[논문 리뷰] Speech-language Pre-training for End-to-end Spoken Language Understanding

Yao Qian, Ximo Bian외 5명|arXiv (Cornell University)|2021. 02. 11.

Topic Modeling참고 문헌 23인용 수 9

한 줄 요약

이 논문은 종단 간 말말처리 이해(End-to-End Spoken Language Understanding, E2E SLU)를 위한 통합된 음성-언어 미사전학습(Speech-Language Pre-training, SLP) 프레임워크를 제안한다. 이 프레임워크는 사전학습된 음성인식(ASR) 인코더와 BERT 기반 언어 모델을 하나의 트랜스포머 디코더에 통합하여, 제한된 레이블된 데이터에서 조건부 마스킹 언어 모델링(Conditional Masked Language Modeling, MLM) 목적함수를 사용해 공동으로 미세조정함으로써, 이전 방법보다 훨씬 적은 쌍화된 데이터로도 의도 분류와 슬롯 채우기에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

End-to-end (E2E) spoken language understanding (SLU) can infer semantics directly from speech signal without cascading an automatic speech recognizer (ASR) with a natural language understanding (NLU) module. However, paired utterance recordings and corresponding semantics may not always be available or sufficient to train an E2E SLU model in a real production environment. In this paper, we propose to unify a well-optimized E2E ASR encoder (speech) and a pre-trained language model encoder (language) into a transformer decoder. The unified speech-language pre-trained model (SLP) is continually enhanced on limited labeled data from a target domain by using a conditional masked language model (MLM) objective, and thus can effectively generate a sequence of intent, slot type, and slot value for given input speech in the inference. The experimental results on two public corpora show that our approach to E2E SLU is superior to the conventional cascaded method. It also outperforms the present state-of-the-art approaches to E2E SLU with much less paired data.

연구 동기 및 목표

• 실제 종단 간 말말처리 이해(E2E SLU) 시스템에서 레이블된 음성-의미 쌍이 부족한 문제를 해결하기 위해.
• 사전학습된 음성 및 언어 표현을 활용하여 자원이 적은 SLU 환경에서의 일반화 능력과 성능을 향상시키기 위해.
• 최적화된 ASR 및 NLU 인코더를 하나의 디코더 아키텍처로 통합하여 공동 최적화를 이루기 위해.
• 맥락적 음성 임베딩을 사용하여 슬롯 채우기를 조건부 시퀀스-투-시퀀스 생성 작업으로 공식화하기 위해.
• 통합된 미사전학습 및 미세조정을 통해 캐스케이드 시스템을 뛰어넘는 종단 간 SLU 성능을 달성할 수 있으며, 이는 레이블된 데이터가 훨씬 적은 조건에서 가능하다는 것을 입증하기 위해.

제안 방법

• 사전학습된 AED 기반 ASR 인코더(음성)와 BERT 기반 언어 모델 인코더(언어)를 하나의 트랜스포머 디코더 아키텍처로 통합한다.
• 음성과 번역문의 쌍을 대상으로 조건부 마스킹 언어 모델링(MLM) 목적함수를 사용해 통합 모델을 계속해서 미사전학습한다.
• 입력 음성에서 의도, 슬롯 유형, 슬롯 값의 시퀀스를 생성하도록 제한된 레이블된 데이터에서 SLP 모델을 종단 간으로 미세조정한다.
• 이중 단계 학습을 사용한다: 먼저 ASR 번역문에서 사전학습을 수행하고, 그 다음 의미 레이블에서 미세조정(이중단계), 또는 직접 ASR+SLU 목표를 결합하여 한 번에 미세조정(일단계).
• ASR 시스템의 원래 언어 모델 디코더를 BERT로 교체하여 ASR 가설 품질을 향상시키며, 이는 후속 SLU 성능 향상에 기여한다.
• ASR 인코더에서 유도된 음성 임베딩과 BERT에서 유도된 텍스트 임베딩을 활용하여 통합 프레임워크 내에서 의미 표현을 공동으로 최적화한다.

실험 결과

연구 질문

• RQ1 제한된 레이블된 데이터에서 캐스케이드된 ASR-NLU 파이프라인보다 통합된 음성-언어 미사전학습 프레임워크가 종단 간 SLU에서 뛰어난 성능을 내는가?
• RQ2 조건부 MLM 목적함수를 사용해 음성 및 언어 인코더를 공동으로 사전학습하면 의도 분류 및 슬롯 채우기 성능이 향상되는가?
• RQ3 제안된 방법이 기존 접근 방식보다 훨씬 적은 쌍화된 학습 데이터로 종단 간 SLU에서 최신 기술 수준의 결과를 달성할 수 있는가?
• RQ4 한 번에 미세조정하는 것과 이중단계로 미세조정하는 전략의 성능에 어떤 영향을 미치는가?
• RQ5 사전학습된 음성 및 언어 모델이 얼마나 ASR 오류율을 감소시키고 후속 의미 레이블링 정확도를 향상시킬 수 있는가?

주요 결과

• 제안된 종단 간 SLP 모델은 테스트된 모든 방법 중에서 FSC 코퍼스에서 가장 높은 의도 정확도(99.13%)를 달성했으며, 캐스케이드 및 이전 종단 간 접근 방식을 모두 능가했다.
• ATIS 코퍼스에서는 미세조정 후 슬롯 F1 스코어가 90.12%에 도달했으며, 기준 캐스케이드 시스템(84.13%)보다 뚜렷이 향상되었다.
• FSC 코퍼스에서 무작위로 선택한 3,000개의 학습 샘플만을 사용해도 전체 23,132개 샘플 학습 세트를 사용했을 때와 거의 동일한 성능를 달성했으며, 이는 높은 데이터 효율성을 보여준다.
• 사전학습된 SLP 모델은 ATIS 데이터셋에서 ASR WER을 14.82%에서 8.68%로 감소시키고, FSC 데이터셋에서는 2.82%에서 0.42%로 감소시켜 번역 품질을 크게 향상시켰다.
• ATIS 코퍼스에서는 이중단계 학습 전략(ASR에서 사전학습 후 SLU에서 미세조정)이 한 번에 미세조정하는 것보다 성능이 뛰어나며, 이는 조합된 ASR+SLU 출력에서 더 긴 목표 시퀀스가 존재하기 때문일 것이다.
• 모델은 뛰어난 일반화 능력과 강건성을 보이며, 최소한의 레이블된 데이터로 FSC 및 ATIS 코퍼스 양쪽에서 최신 기술 수준의 결과를 달성했다.