[논문 리뷰] A Data Efficient End-To-End Spoken Language Understanding Architecture

Marco Dinarelli, Nikita Kapoor외 2명|arXiv (Cornell University)|2020. 02. 14.

Speech Recognition and Synthesis참고 문헌 24인용 수 5

한 줄 요약

이 논문은 외부 사전 훈련된 언어 모델이 필요 없이 점진적 훈련 절차를 통해 청각적, 언어적, 의미적 특징을 통합적으로 학습하는 데이터 효율적인 엔드 투 엔드 음성 언어 이해(SLU) 아키텍처를 제안한다. 표준 MEDIA 훈련 데이터(16.8시간의 주석이付け된 사용자 전환)만을 사용하여 MEDIA/test 세트에서 24.02%의 개념 오류률(CER)을 달성하며, 훨씬 더 큰 데이터셋으로 훈련된 이전 엔드 투 엔드 모델들을 능가한다.

ABSTRACT

End-to-end architectures have been recently proposed for spoken language understanding (SLU) and semantic parsing. Based on a large amount of data, those models learn jointly acoustic and linguistic-sequential features. Such architectures give very good results in the context of domain, intent and slot detection, their application in a more complex semantic chunking and tagging task is less easy. For that, in many cases, models are combined with an external language model to enhance their performance. In this paper we introduce a data efficient system which is trained end-to-end, with no additional, pre-trained external module. One key feature of our approach is an incremental training procedure where acoustic, language and semantic models are trained sequentially one after the other. The proposed model has a reasonable size and achieves competitive results with respect to state-of-the-art while using a small training dataset. In particular, we reach 24.02% Concept Error Rate (CER) on MEDIA/test while training on MEDIA/train without any additional data.

연구 동기 및 목표

• 최소한의 훈련 데이터로 높은 성능을 내는 엔드 투 엔드 SLU 시스템을 개발하여 대규모 사전 훈련된 언어 모델에 의존하지 않도록 하는 것.
• 저자료 환경에서 청각적 및 언어적 특징의 통합 학습이 어려운 의미 조각화 및 태깅 문제를 해결하는 것.
• 청각적, 언어적, 의미적 구성 요소를 단계적으로 훈련하는 순차적 점진적 훈련 전략을 도입하여 엔드 투 엔드 SLU의 데이터 효율성을 향상시키는 것.
• 외부 언어 모델을 사용해 재평가하는 파ip라인 시스템과 비교하여 청각적 및 의미적 특징을 통합적으로 엔드 투 엔드로 학습하는 것이 더 우수한 성능을 낼 수 있음을 입증하는 것.
• 추가 데이터나 다른 NLP 작업에서의 전이 학습 없이도 표준 훈련 데이터만을 사용하여 MEDIA 벤치마크에서 경쟁 가능한 성능을 달성하는 것.

제안 방법

• 모델은 청각적 및 언어적 특징을 위한 공유 인코더를 사용하는 시퀀스 투 시퀀스 아키텍처를 사용하며, 이후 디코더는 의미 개념과 토큰을 동시에 생성한다.
• 점진적 훈련 절차를 적용: 먼저 청각적 특징을 훈련하고, 그 다음 언어 모델링을 훈련한 후, 마지막으로 통합된 의미 태깅을 학습하여 점진적인 특징 정제를 가능하게 한다.
• 출력을 하나의 시퀀스로 생성하여 토큰과 개념을 동시에 처리하며, 예를 들어 <chambre double chambre-type>처럼, 중간 BIO 형식 없이도 통합된 조각화 및 태깅을 가능하게 한다.
• 두 가지 변형을 탐색: 하나는 SLU 훈련 중에 토큰 표현을 미세조정하는 경우(tune), 다른 하나는 개념 예측과 경계 검출을 분리하는 이중 디코더 구조(XT)를 사용하는 경우.
• 훈련 안정성과 수렴을 향상시키기 위해 훈련 음성 문장을 길이 순으로 정렬하여 커리큘럼 학습 전략을 적용한다.
• 외부 데이터나 사전 훈련된 언어 모델 없이, 프랑스어 MEDIA 코퍼스에서 사용자 전환 주석(16.8시간의 레이블링된 데이터)만을 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 외부 사전 훈련된 언어 모델이나 대규모 데이터에 의존하지 않고도 엔드 투 엔드 SLU 모델이 의미 조각화 및 태깅에서 경쟁 가능한 성능을 낼 수 있는가?
• RQ2 청각, 언어, 의미 구성 요소를 순차적으로 훈련하는 점진적 훈련 전략이 저자원 SLU 환경에서 데이터 효율성과 최종 성능을 향상시키는가?
• RQ3 외부 언어 모델을 사용해 재평가하는 파이프라인 시스템과 비교해 볼 때, 청각적 및 의미적 특징을 통합적으로 엔드 투 엔드로 학습하는 것이 더 나은 성능을 낼 수 있는가?
• RQ4 BIO와 같은 중간 태깅 형식에 의존하지 않고도 단일 시퀀스 투 시퀀스 모델이 토큰 수준과 개념 수준의 출력을 효과적으로 동시에 학습할 수 있는가?
• RQ5 청각 조각화와 개념 예측을 분리하는 이중 디코더 아키텍처가 저자료 SLU 시나리오에서 성능 향상에 기여하는가?

주요 결과

• 모델은 MEDIA/test 세트에서 24.02%의 개념 오류률(CER)을 달성하며, 훨씬 더 큰 데이터셋으로 훈련된 최고 수준의 시스템들과 경쟁 가능한 성능을 보였다.
• 점진적 훈련 전략은 전체 모델를 처음부터 훈련하는 것과 비교해 오차율을 30퍼센트 포인트 이상 감소시켰다.
• 이중 디코더 변형(XT)은 훨씬 더 많은 데이터와 전이 학습으로 훈련된 모델들과 유사한 성능을 달성하여, 청각 조각화와 태깅을 분리하는 것이 효과적임을 입증했다.
• 모델은 강력한 HMM-DNN ASR 베이스라인(개발 세트에서 25.1% WER)을 능가하며, 41.5시간의 음성 데이터만을 사용함에도 불구하고 이전의 엔드 투 엔드 ASR 시스템보다 성능을 향상시켰다.
• 길이 순으로 정렬한 커리큘럼 학습 전략은 비커리큘럼 훈련 대비 WER을 1% 감소시켜 훈련 안정성 향상에 기여함을 확인했다.
• 외부 언어 모델이나 사전 훈련 없이도 강력한 성능을 달성하여, 점진적 훈련을 통한 통합 엔드 투 엔드 학습이 다단계, 자료 집약적인 접근 방식에 비해 실현 가능하고 효율적인 대안임을 증명했다.