[논문 리뷰] Curriculum-based transfer learning for an effective end-to-end spoken language understanding and domain portability

Antoine Caubrière, Natalia Tomashenko외 4명|arXiv (Cornell University)|2019. 06. 18.

Speech Recognition and Synthesis참고 문헌 31인용 수 46

한 줄 요약

본 연구는 커리큘럼 기반 전이 학습으로 학습된 엔드-투-엔드 SLU 모델을 제안하여 음성에서 직접 의미 개념을 추출하고, 프랑스 MEDIA/PORTMEDIA에서 최첨단 결과를 달성하며 도메인 이식성을 다룬다.

ABSTRACT

We present an end-to-end approach to extract semantic concepts directly from the speech audio signal. To overcome the lack of data available for this spoken language understanding approach, we investigate the use of a transfer learning strategy based on the principles of curriculum learning. This approach allows us to exploit out-of-domain data that can help to prepare a fully neural architecture. Experiments are carried out on the French MEDIA and PORTMEDIA corpora and show that this end-to-end SLU approach reaches the best results ever published on this task. We compare our approach to a classical pipeline approach that uses ASR, POS tagging, lemmatizer, chunker... and other NLP tools that aim to enrich ASR outputs that feed an SLU text to concepts system. Last, we explore the promising capacity of our end-to-end SLU approach to address the problem of domain portability.

연구 동기 및 목표

• 더 쉽고 관련 있는 작업에서 프리트레이닝하기 위해 커리큘럼 기반 전이 학습을 활용하여 라벨이 있는 엔드-투-엔드 SLU 데이터의 부족 문제를 해결한다.
• 음성을 직접 의미 개념과 값으로 매핑하는 엔드-투-엔드 신경망 SLU 아키텍처를 개발한다.
• 도메인 이식성을 연구하기 위해 MEDIA에서 PORTMEDIA 도메인으로의 교차를 평가한다.
• 전통적인 파이프라인 SLU 시스템과 엔드-투-엔드 접근법을 비교하고 시맨틱 추출에서 STARred 모드의 이점을 평가한다.

제안 방법

• Deep Speech 2에서 영감을 얻은 엔드-투-엔드 신경 SLU 아키텍처를 사용하고 스펙트로그램 입력과 CTC 손실로 단어와 시맨틱 태그를 예측한다.
• 각 개념마다 전용 시작 태그와 단일 종료 태그를 사용하여 의미 슬롯을 표현하고 개념/값 추출을 가능하게 한다.
• 훈련 중 시맨틱 영역을 강조하기 위해 개념 태그 사이의 텍스트를 단일 스타로 대체하는 STARred 모드를 도입한다.
• 일반 ASR/전사에서 명명 엔터티 주석으로, 그리고 결합된 MEDIA/PORTMEDIA 개념으로 훈련 데이터를 순차적으로 구성하여 커리큘럼 기반 전이 학습을 적용하고 각 단계에서 출력 층만 재초기화한다.
• CER/CVER를 개선하기 위해 빔 서치 디코딩과 5-그램 LM 재정렬로 미세 조정한다.

실험 결과

연구 질문

• RQ1 커리큘럼 기반 전이 학습으로 학습된 엔드-투-엔드 SLU 모델이 프랑스어 SLU 과제에서 전통적인 파이프라인 접근법을 능가할 수 있는가?
• RQ2 MEDIA와 PORTMEDIA 데이터를 커리큘럼에 통합하는 것이 슬롯 채움 성능을 개선하고 도메인 이식성을 가능하게 하는가?
• RQ3 STARred 모드와 LM 재점수화가 엔드-투-엔드 SLU 성능에 미치는 영향은 무엇인가?
• RQ4 관련 도메인(MEDIA에서 PORTMEDIA) 간에 SLU 모델을 전이하는 데 제안된 접근법은 얼마나 효과적인가?

주요 결과

• 커리큘럼 기반 전이 학습을 이용한 엔드-투-엔드 SLU는 MEDIA 데이터만으로 학습한 경우보다 CER/CVER를 크게 감소시킨다(예: SF_M 단독의 39.8% CER 및 52.1% CVER vs MEDIA에서 전체 커리큘럼으로 21.6% CER 및 27.7% CVER).
• ASR에서 프리트레이닝한 뒤 MEDIA로 전이(ASR•SF_M)하면 CER가 23.7%, CVER가 30.3%로 감소한다.
• 통합 MEDIA+PORTMEDIA를 포함한 커리큘럼 체이닝(ASR•SF_P+M•SF_M)은 CER를 22.2%, CVER를 28.8%로 더 감소시킨다.
• 단계 간 NER를 포함한 전체 커리큘럼은 그리디 모드에서 MEDIA에서 21.6% CER 및 27.7% CVER를 산출한다; LM으로 빔 재점수가 적용되면 18.1% CER 및 22.1% CVER로 추가 개선되며(후속 단계의 STARred 모드에서 일부 구성에서 16.4% CER 및 20.9% CVER 달성).
• 전통적인 파이프라인 CRF 시스템과 비교하면, 강력한 ASR을 갖춘 엔드-투-엔드 접근법이 경쟁력 있는 CER/CVER를 달성할 수 있다(예: 전체 기능을 갖춘 파이프라인의 경우 16.1% CER 및 20.4% CVER), 차이가 95% 신뢰구간에서 통계적으로 유의하지 않다.