[논문 리뷰] Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling

Bing Liu, Ian Lane|arXiv (Cornell University)|2016. 09. 06.

Topic Modeling참고 문헌 16인용 수 68

한 줄 요약

이 논문은 음성 언어 이해에서 통합된 의도 검출과 슬롯 채우기를 위한 주목사용 기반 순환 신경망 모델을 제안한다. 인코더-디코더 아키텍처에 명시적 일치 정보를 통합하고 양방향 RNN에 주목사용 기반 기법을 적용함으로써, 모델은 최신 기술 수준의 성능을 달성하여 ATIS 벤치마크에서 의도 검출 오차를 0.56% 감소시켰고(상대적 감소 23.8%), 독립 모델 대비 슬롯 채우기 F1 점수를 0.23% 향상시켰다.

ABSTRACT

Attention-based encoder-decoder neural network models have recently shown promising results in machine translation and speech recognition. In this work, we propose an attention-based neural network model for joint intent detection and slot filling, both of which are critical steps for many speech understanding and dialog systems. Unlike in machine translation and speech recognition, alignment is explicit in slot filling. We explore different strategies in incorporating this alignment information to the encoder-decoder framework. Learning from the attention mechanism in encoder-decoder model, we further propose introducing attention to the alignment-based RNN models. Such attentions provide additional information to the intent classification and slot label prediction. Our independent task models achieve state-of-the-art intent detection error rate and slot filling F1 score on the benchmark ATIS task. Our joint training model further obtains 0.56% absolute (23.8% relative) error reduction on intent detection and 0.23% absolute gain on slot filling over the independent task models.

연구 동기 및 목표

• 주목사용 기반 기법과 일치 인식 RNN을 조합하여 음성 언어 이해에서 통합된 의도 검출과 슬롯 채우기 성능을 향상시키기.
• 슬롯 채우기에서의 명시적 일치 정보가 순서에서 순서로 변환하는 인코더-디코더 모델에 효과적으로 통합될 수 있는 방법을 탐구하기.
• 인코더-디코더 모델의 주목사용 기반 기법이 일치 기반 RNN의 성능을 향상시켜 더 나은 슬롯 레이블링과 의도 분류를 가능하게 하는지 탐색하기.
• 의도 검출과 슬롯 채우기의 공동 학습이 독립 학습 대비 성능 향상에 기여하는지 평가하기.

제안 방법

• 입력 시퀀스를 처리하고 디코더의 컨텍스트 벡터를 생성하기 위해 양방향 RNN 인코더를 사용한다.
• 출력 생성 중 관련 인코더 상태에 동적으로 주목하기 위해 디코더에 주목사용 기반 기법을 적용함으로써 소프트 일치를 가능하게 한다.
• 학습 중 각 입력 단어가 해당 슬롯 레이블과 쌍을 이루도록 인코더-디코더 프레임워크에 일치 입력을 도입한다.
• 숨은 상태에서 컨텍스트 벡터를 계산하여 양방향 RNN에 주목사용을 적용함으로써 레이블 예측 성능을 향상시킨다.
• 의도 검출과 슬롯 채우기 간에 파라미터를 공유하는 공동 모델을 학습함으로써 엔드 투 엔드 최적화를 가능하게 한다.
• 의도 및 슬롯 예측에 교차 엔트로피 손실를 사용하고, 추론 시 시퀀스 생성을 위해 빔 서치를 적용한다.

실험 결과

연구 질문

• RQ1 슬롯 채우기에서의 명시적 일치 정보가 주목사용 기반 인코더-디코더 모델에 효과적으로 통합될 수 있는가?
• RQ2 인코더-디코더 모델의 주목사용 기반 기법이 통합된 의도 및 슬롯 예측에서 일치 기반 RNN의 성능을 향상시킬 수 있는가?
• RQ3 의도 검출과 슬롯 채우기의 공동 학습이 독립 학습보다 더 나은 성능을 낼 수 있는가?
• RQ4 주목사용과 양방향 인코딩이 ATIS 벤치마크에서 모델 성능에 기여하는 상대적 기여도는 얼마인가?

주요 결과

• 주목사용 기반 양방향 RNN을 사용한 공동 학습 모델은 독립 모델 대비 의도 검출 오차율을 0.56%p 감소시켰고(상대적 감소 23.8%), 성능 향상을 달성하였다.
• 동일한 공동 모델은 독립 학습 대비 슬롯 채우기 F1 점수를 0.23%p 향상시켰다.
• 일치 입력을 적용한 주목사용 기반 인코더-디코더 모델은 슬롯 채우기 F1 점수 95.78%를 기록하여 이전 최신 기술 수준 성능을 초월하였다.
• 주목사용 기반 양방향 RNN 모델은 의도 검출 오차율 2.35%를 기록하여 이전 최신 기술 수준 방법들을 능가하였다.
• 10겹 교차 검증을 수행한 추가 ATIS 데이터셋에서 주목사용 기반 양방향 RNN 공동 모델은 F1 점수 95.78%, 의도 오차율 5.60%를 기록하여 이전 공동 모델들을 능가하였다.
• 주목사용 기반 기법은 의미 있는 주목 패턴을 보였으며, 예를 들어 'noon'과 같은 관련 단어에 집중하는 등 효과적인 컨텍스트 활용을 나타내었다.