[논문 리뷰] Joint Online Spoken Language Understanding and Language Modeling with Recurrent Neural Networks

Bing Liu, Ian Lane|arXiv (Cornell University)|2016. 09. 06.

Speech and dialogue systems참고 문헌 17인용 수 22

한 줄 요약

이 논문은 단일 RNN 아키텍처 내에서 언어 모델링과 슬롯 채우기를 동시에 수행하는 조건부 RNN 모델을 제안한다. 어휘가 도착함에 따라 실시간으로 의도 예측과 슬롯 채우기를 업데이트함으로써 온라인 음성 언어 이해(SLU)를 수행한다. 모델은 순환적인 의도 및 슬롯 레이블 맥락을 활용하여 언어 모델링의 퍼플렉서티를 11.8% 향상시키고, 독립 학습 대비 의도 검출 오차를 22.3% 감소시켰으며, 노이지한 ASR 환경에서도 뛰어난 강건성을 보였다.

ABSTRACT

Speaker intent detection and semantic slot filling are two critical tasks in spoken language understanding (SLU) for dialogue systems. In this paper, we describe a recurrent neural network (RNN) model that jointly performs intent detection, slot filling, and language modeling. The neural network model keeps updating the intent estimation as word in the transcribed utterance arrives and uses it as contextual features in the joint model. Evaluation of the language model and online SLU model is made on the ATIS benchmarking data set. On language modeling task, our joint model achieves 11.8% relative reduction on perplexity comparing to the independent training language model. On SLU tasks, our joint model outperforms the independent task training model by 22.3% on intent detection error rate, with slight degradation on slot filling F1 score. The joint model also shows advantageous performance in the realistic ASR settings with noisy speech input.

연구 동기 및 목표

• 기존의 통합 SLU 모델이 전체 문장 입력이 필요하여 실시간 온라인 응용에 부적합한 한계를 해결하기 위해.
• 단일 RNN 프레임워크 내에서 SLU와 언어 모델링 컴포넌트를 공동으로 학습시켜 언어 모델링 및 의도 검출 성능을 향상시키기 위해.
• 온라인 ASR 시스템에서 다음 단어 예측을 위한 맥락 특징으로 순환적인 의도 및 슬롯 레이블 상태를 사용해 볼 수 있는지 탐색하기 위해.
• 실제 노이지 음성 입력 조건 하에서 모델의 강건성을 평가하여 실질적인 구현 환경을 시뮬레이션하기 위해.

제안 방법

• 조건부 RNN 아키텍처를 설계하여 입력 어휘 시퀀스를 단계적으로 처리하고, 각 어휘가 도착함에 따라 실시간으로 의도 및 슬롯 예측을 업데이트한다.
• 의도 및 슬롯 레이블 정보를 인코딩하는 순환 히든 상태를 포함하여, 다음 단어 예측을 위한 맥락 벡터로 사용한다.
• 의도 벡터가 맥락 벡터에 기여하는 비중을 시간이 지남에 따라 스케줄링하여 증가시키는 메커니즘을 적용하여 언어 모델링 성능을 향상시킨다.
• 국소적 및 순환 맥락 특징을 통합한다: 국소적 의도 및 슬롯 레이블은 RNN 히든 상태와 연결되며, 순환 상태는 장기적 의존성을 포착한다.
• 공유된 파라미터를 통해 두 작업 모두를 동시에 최적화하는 엔드 투 엔드로 통합 모델을 학습시킨다.
• ATIS 벤치마크를 사용하여 평가하며, 맥락 유형과 학습 스케줄에 대한 추론 분석을 통해 각 기여 요소를 분리한다.

실험 결과

연구 질문

• RQ1 독립 학습된 별도의 모델 대비 통합 RNN 모델이 더 나은 언어 모델링 및 의도 검출 성능을 달성할 수 있는가?
• RQ2 순환적인 의도 및 슬롯 레이블 상태를 통합함으로써 실시간 온라인 SLU 및 언어 모델링 성능가 어떻게 향상되는가?
• RQ3 맥락 벡터에 대한 의도 벡터 기여도를 스케줄링함으로써 언어 모델링 퍼플렉서티에 어떤 영향을 미치는가?
• RQ4 특히 ASR 재정렬 파이프라인에서 실질적인 노이지 음성 입력 조건 하에서 통합 모델은 어떻게 성능을 발휘하는가?

주요 결과

• 통합 모델은 ATIS 테스트 세트에서 독립 학습 언어 모델 대비 언어 모델링 퍼플렉서티를 11.8% 상대적으로 감소시켰다.
• 통합 모델은 독립 학습 모델 대비 의도 검출 오차를 22.3% 상대적으로 감소시켜 온라인 의도 분류에서 뚜렷한 성능 향상을 보였다.
• 순환 슬롯 레이블 맥락을 통합함으로써 슬롯 채우기 F1 점수를 향상시키고, 의도 분류 오차를 16.8% 상대적으로 감소시켜 레이블 간 의존성 모델링의 유용성을 입증했다.
• 순환 의도 및 슬롯 레이블 맥락을 모두 통합한 모델이 가장 우수한 종합 성능을 보였으며, 언어 모델링 및 의도 검출 성능 향상을 유지하면서 약간의 슬롯 F1 점수 저하가 발생했다.
• 노이지한 ASR 환경에서는 통합 학습 RNN 언어 모델 재정렬이 5-그램 언어 모델 및 독립 학습 RNN 언어 모델 재정렬보다 우수했으며, WER는 12.59%로 감소하고 의도 오차는 4.44%로 낮아졌다.
• 실제 ASR 조건에서도 일관된 성능 향상을 보였으며, 실제 텍스트 대비 ASR 출력을 사용할 경우 의도 오차는 2.87% 증가하고 F1 점수는 7.77% 감소하는 데 그쳤다.