[논문 리뷰] Towards Semi-Supervised Semantics Understanding from Speech

Cheng-I Lai, Jin Cao외 2명|arXiv (Cornell University)|2020. 11. 11.

Speech Recognition and Synthesis참고 문헌 69인용 수 6

한 줄 요약

이 논문은 희소한 레이블 데이터와 노이즈가 있는 조건에서, 사전 학습된 ASR 및 BERT 모델을 미세조정하여 원시 음성에서 직접 의도와 슬롯 예측을 수행하는 준지도 학습 엔드투엔드(SLU) 프레임워크를 제안한다. 이는 오라클 텍스트 모델과 유사한 성능을 노이즈가 있는 환경에서 달성하며, 엔드투엔드 평가를 위한 새로운 슬롯 편집 $F_1$ 지표를 사용한다.

ABSTRACT

Much recent work on Spoken Language Understanding (SLU) falls short in at least one of three ways: models were trained on oracle text input and neglected the Automatics Speech Recognition (ASR) outputs, models were trained to predict only intents without the slot values, or models were trained on a large amount of in-house data. We proposed a clean and general framework to learn semantics directly from speech with semi-supervision from transcribed speech to address these. Our framework is built upon pretrained end-to-end (E2E) ASR and self-supervised language models, such as BERT, and fine-tuned on a limited amount of target SLU corpus. In parallel, we identified two inadequate settings under which SLU models have been tested: noise-robustness and E2E semantics evaluation. We tested the proposed framework under realistic environmental noises and with a new metric, the slots edit F1 score, on two public SLU corpora. Experiments show that our SLU framework with speech as input can perform on par with those with oracle text as input in semantics understanding, while environmental noises are present, and a limited amount of labeled semantics data is available.

연구 동기 및 목표

• 실제 운영 환경에서 흔한 환경 노이즈에 대해 SUL 모델의 강인성 부족 문제를 해결하고자 하며, 이는 벤치마킹에서 다소 간과된 바가 있다.
• 기존 SUL 모델의 한계를 극복하고자 하며, 이는 대규모 내부 레이블 데이터셋이 필요하거나 슬롯 값 예측이 불가능한 의도 예측 전용 모델에 국한된다.
• 엔드투엔드 평가를 향상시키기 위해, ASR 추론 결과와 진짜 텍스트 간 길이 차이를 고려한 새로운 슬롯 편집 $F_1$ 지표를 도입함으로써 평가 관행을 개선하고자 한다.
• 레이블된 의미 데이터의 대규모 요구를 줄이기 위해, 비라벨링된 음성-텍스트 데이터와 자기지도 학습 언어 모델을 활용하는 통합된 준지도 학습 프레임워크를 개발하고자 한다.

제안 방법

• 제한된 레이블된 SUL 데이터에서 엔드투엔드 ASR와 마스킹 언어 모델(예: BERT)을 결합한 통합 엔드투엔드 모델을 미세조정하며, 텍스트 생성, 의도 분류, 슬롯 레이블링을 동시에 최적화한다.
• 레이블 없는 의미 정보가 포함된 대규모 음성-텍스트 쌍을 사용하여, 텍스트에 대해 마스킹 언어 모델링 목표를 적용해 언어 모델을 사전 학습한다.
• 학습 중에 노이즈 증강을 적용하여 실제 환경의 노이즈에 대한 강인성을 향상시키며, 현실적인 운영 조건을 시뮬레이션한다.
• 디코딩 후 지식 기반 개선 단계를 구현한다: 각 슬롯 예측에 대해, BERT 임베딩을 사용해 도메인 특화 지식 기반에서 가장 유사한 용어로 디코딩된 단어를 대체한다.
• 두 단계 미세조정 전략을 채택한다: 먼저, 전사된 음성 데이터에서 ASR 및 BERT 구성 요소를 함께 사전 학습하고, 이후 레이블된 의도 및 슬롯 데이터에서 전체 모델을 미세조정한다.
• 새로운 평가 지표인 슬롯 편집 $F_1$를 도입한다. 이는 예측된 슬롯 시퀀스와 진짜 슬롯 시퀀스 간의 편집 거리 기반으로 F1 스코어를 계산하여, 더 현실적인 엔드투엔드 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 희소한 레이블된 의미 데이터에서 학습된 준지도 학습 SUL 프레임워크가, 특히 노이즈가 있는 조건에서 오라클 텍스트 입력을 사용하는 모델과 유사한 성능을 달성할 수 있는가?
• RQ2 ASR와 NLU를 함께 학습하는 통합 엔드투엔드 프레임워크는 ASR 후 NLU를 수행하는 두 단계 기반 모델 대비 강인성과 정확도 측면에서 어떻게 비교되는가?
• RQ3 노이즈 증강이 실제 노이즈가 많은 환경에서 SUL 모델의 일반화 능력과 강인성을 얼마나 향상시키는가?
• RQ4 지식 기반 개선이 추가 애너테이션 없이도 도메인 특화 엔티티에 대해 슬롯 예측 정확도를 크게 향상시킬 수 있는가?
• RQ5 기존의 슬롯 수준 F1과 비교해 볼 때, 제안된 슬롯 편집 $F_1$ 지표가 엔드투엔드 SUL 시스템 평가에 더 현실적이고 효과적인가?

주요 결과

• 노이즈 증강을 적용한 ATIS 코퍼스에서 제안된 엔드투엔드 프레임워크는 슬롯 편집 $F_1$ 97.65%와 의도 $F_1$ 96.38%를 기록했으며, 오라클 텍스트로 학습된 모델과 동일한 성능을 달성했다.
• 노이즈 조건 하에서 SNIPS 코퍼스에서 프레임워크는 슬롯 편집 $F_1$ 80.02%와 의도 $F_1$ 97.90%를 기록했으며, 희소한 레이블 데이터 조건에서도 뛰어난 강인성을 보였다.
• 지식 기반 개선을 통해 SNIPS에서의 슬롯 편집 $F_1$는 노이즈 조건에서 80.02%에서 87.51%로 향상되었으며, 희귀하거나 도메인 특화 엔티티에 대해 상당한 성능 향상을 보였다.
• 청정 및 노이즈 조건에서 모두 두 단계 기반 베이스라인과 SpeechBERT 베이스라인을 모두 초월하여, 통합 엔드투엔드 학습의 우수성을 입증했다.
• 슬롯 편집 $F_1$ 지표는 유사한 WER를 기록하더라도 슬롯 예측 정확도에서 모델 간의 상당한 차이를 드러내어, 더 세밀한 평가 지표의 필요성을 입증했다.
• ATIS에서 프레임워크는 코퍼스 오차/모호성 임계값에 5% 이내로 오라클 성능을 달성했으며, 데이터가 부족한 조건에서도 매우 효과적임을 시사한다.