[논문 리뷰] From Audio to Semantics: Approaches to end-to-end spoken language understanding

Parisa Haghani, Arun Narayanan외 7명|arXiv (Cornell University)|2018. 09. 24.

Speech Recognition and Synthesis참고 문헌 17인용 수 14

한 줄 요약

이 논문은 음성 입력을 사용하여 자동 음성 인식(ASR)과 자연어 이해(NLU)을 종합적으로 최적화하는 엔드 투 엔드 시퀀스 투 시퀀스 모델을 제안한다. 중간 텍스트 표현과 공동 학습을 통합함으로써, 최고의 모델은 독립 학습 대비 18% 상대적인 어휘 오류율(WER) 향상을 달성했으며, 도메인 및 의도 예측의 F1 점수는 유사하거나 이를 초월한다.

ABSTRACT

Conventional spoken language understanding systems consist of two main components: an automatic speech recognition module that converts audio to a transcript, and a natural language understanding module that transforms the resulting text (or top N hypotheses) into a set of domains, intents, and arguments. These modules are typically optimized independently. In this paper, we formulate audio to semantic understanding as a sequence-to-sequence problem [1]. We propose and compare various encoder-decoder based approaches that optimize both modules jointly, in an end-to-end manner. Evaluations on a real-world task show that 1) having an intermediate text representation is crucial for the quality of the predicted semantics, especially the intent arguments and 2) jointly optimizing the full system improves overall accuracy of prediction. Compared to independently trained models, our best jointly trained model achieves similar domain and intent prediction F1 scores, but improves argument word error rate by 18% relative.

연구 동기 및 목표

• 기존의 ASR와 NLU 모듈을 별도로 학습하는 전통적인 SLU 시스템의 성능이 열악한 문제를 해결하기 위해 오류 전파와 최적화 목표의 불일치를 방지한다.
• 원시 음성에서부터 ASR와 NLU를 종합적으로 최적화할 수 있는 엔드 투 엔드 시퀀스 투 시퀀스 모델이 의미 예측 정확도를 향상시키는지 조사한다.
• 중간 텍스트 표현과 공동 학습이 SLU에서 의도 및 어휘 예측 품질에 미치는 영향을 평가한다.
• 실제 SLU 데이터에서 기준, 다중 작업, 다단계, 공동 학습 전략을 비교하여 가장 효과적인 아키텍처를 규명한다.
• 엔드 투 엔드 모델이 CFG-파서를 사용하는 전통적인 파ip라인보다 우수한 성능을 내는지 평가한다.

제안 방법

• SLU를 시퀀스 투 시퀀스 문제로 재정의하여, 인코더가 원시 음성을 처리하고 디코더가 도메인, 의도, 어휘 예측을 직접 생성하도록 한다.
• 음성과 의미 출력 간의 정렬을 모델링하기 위해 공유 인코더와 작업별로 특화된 디코더를 사용하는 어텐션 기반 인코더-디코더 아키텍처를 구현한다.
• 다단계 학습 전략을 적용하여 모델이 먼저 텍스트 전사 결과를 예측한 후, 이를 바탕으로 의미를 예측하고, 마지막으로 공동 최적화 단계를 거친다.
• 다단계 모델에서 샘플드 소프트맥스를 적용하여 학습 효율성을 향상시키고 시퀀스 생성 과정에서의 오류 전파를 줄인다.
• 교차 엔트로피 손실을 사용하여 모델을 학습하며, 전사 정확도와 의미 관련성을 일치시키기 위해 ASR 및 NLU 목표를 공동 최적화한다.
• 평가를 위해 모델이 생성한 전사 결과에 CFG-파서를 적용하여 지표와 유사한 의미 레이블을 유도하며, 표준 NLU 파이프라인과의 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 원시 음성에서 ASR와 NLU를 공동으로 엔드 투 엔드로 학습할 경우, 별도로 학습된 모델 대비 의미 예측 정확도가 향상되는가?
• RQ2 엔드 투 엔드 SLU 시스템에서 높은 품질의 의미 예측을 위해 중간 텍스트 표현이 필수적인가?
• RQ3 공동 최적화가 어휘 오류율(WER)에 어떤 영향을 미치는가? 특히 기존의 ASR-NLU 파이프라인과 비교하여 어떻게 되는가?
• RQ4 제한된 NLU 데이터로 학습된 엔드 투 엔드 모델이 ASR 출력에 대해 CFG-파서를 적용했을 때도 경쟁 가능한 성능을 내는가?
• RQ5 기준, 다중 작업, 다단계, 공동 학습 전략 간에 WER, F1 점수, 의미 정확도 측면에서 성능 비교는 어떻게 이루어지는가?

주요 결과

• 공동 학습된 최고의 모델은 독립 학습 모델 대비 어휘 오류율(WER)을 18% 상대적으로 향상시켰으며, 도메인 및 의도 F1 점수는 유사하게 유지했다.
• 공동 최적화는 어휘 예측의 WER를 크게 감소시켰으며, 다단계(SampledSoftmax) 모델은 기준 대비 0.6% 절대적 개선을 기록해 11.26%의 WER를 달성했다.
• 다중 작업 모델은 97.2의 최고 의도 F1 점수를 기록해 기준 대비 1.3점 향상되어 공동 학습의 이점을 입증했다.
• 모델이 생성한 전사 결과에 CFG-파서를 적용한 결과, 공동 학습 모델이 독립 학습 모델보다 의도 F1과 어휘 WER에서 모두 우수한 성능을 보였으며, 이는 ASR 품질 향상을 시사한다.
• 중간 전사 결과 없이 음성에서 직접 의미를 예측하는 모델는 중간 텍스트 표현이 있는 모델보다 성능이 열 劣했으며, 이는 중간 표현의 중요성을 확인한다.
• 공동 학습 전략은 ASR 구성 요소가 의미 목표와 더 잘 일치하는 전사 패턴을 학습할 수 있도록 하여, 의도 및 어휘 예측에 가장 중요한 오류를 줄였다.