[논문 리뷰] A Bi-model based RNN Semantic Frame Parsing Model for Intent Detection and Slot Filling

Yu Wang, Yilin Shen외 1명|arXiv (Cornell University)|2018. 12. 26.

Topic Modeling참고 문헌 19인용 수 12

한 줄 요약

이 논문은 의도 검출과 슬롯 채우기를 함께 모델링하기 위해 두 개의 상호 연관된 양방향 LSTM를 사용하는 새로운 이중모델 RNN 아키텍처를 제안한다. 이는 성능 향상을 위해 상호 작업 간 영향을 주고받을 수 있도록 한다. 이 방법은 ATIS 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 의도 정확도에서 0.5%p 향상(96.89%)과 슬롯 F1 스코어에서 0.9%p 향상(98.99%)을 기록하여 기존의 통합 모델 및 이전 SOTA 접근 방식을 능가한다.

ABSTRACT

Intent detection and slot filling are two main tasks for building a spoken language understanding(SLU) system. Multiple deep learning based models have demonstrated good results on these tasks . The most effective algorithms are based on the structures of sequence to sequence models (or "encoder-decoder" models), and generate the intents and semantic tags either using separate models or a joint model. Most of the previous studies, however, either treat the intent detection and slot filling as two separate parallel tasks, or use a sequence to sequence model to generate both semantic tags and intent. Most of these approaches use one (joint) NN based model (including encoder-decoder structure) to model two tasks, hence may not fully take advantage of the cross-impact between them. In this paper, new Bi-model based RNN semantic frame parsing network structures are designed to perform the intent detection and slot filling tasks jointly, by considering their cross-impact to each other using two correlated bidirectional LSTMs (BLSTM). Our Bi-model structure with a decoder achieves state-of-the-art result on the benchmark ATIS data, with about 0.5$\%$ intent accuracy improvement and 0.9 $\%$ slot filling improvement.

연구 동기 및 목표

• 의도 검출과 슬롯 채우기를 별도의 작업으로 간주하거나, 상호 영향을 충분히 활용하지 못할 수 있는 단일 통합 모델을 사용할 경우 발생하는 한계를 해결하기 위해.
• 의도 검출과 슬롯 채우기 간의 상호의존성을 명시적으로 모델링하기 위해 두 개의 상호 연관된 양방향 LSTM를 사용하는 이중모델 아키텍처를 설계하기 위해.
• 제안된 모델이 벤치마크(ATIS) 및 실제 다중 도메인 데이터셋 모두에서 평가되어 일반화 능력과 성능 향상을 입증하기 위해.
• 이중모델 구조에 디코더를 사용하는 것과 단순한 아키텍처에 디코더를 사용하지 않는 것의 효과성을 비교하기 위해.

제안 방법

• 모델은 의도 검출을 위한 하나, 슬롯 채우기를 위한 하나의 별도의 양방향 LSTM 네트워크를 사용하여, 공유된 컨텍스트를 통해 작업별 대표 표현 학습을 가능하게 한다.
• 슬롯 레이블을 순차적으로 생성할 수 있도록, 한 개의 양방향 LSTM 브랜치에 디코더를 통합함으로써 가변 길이 출력과 개선된 정렬을 가능하게 한다.
• 두 네트워크는 이방향으로 학습되어, 상호 숨겨진 표현을 통해 교차 어텐션 또는 연결 메커니즘을 통해 서로의 이점을 얻을 수 있다.
• 입력 발화에 대해 공유 인코더를 사용한 후, 의도 분류와 슬롯 레이블링을 위한 작업별 헤드를 적용한다.
• 의도에 대해서는 교차 엔트로피 손실, 슬롯 레이블링에 대해서는 CRF 또는 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 공동 최적화를 수행한다.
• 이중모델 아키텍처는 통합 학습과 추론을 모두 가능하게 하여, 단일 인코더-디코더 병목 현상 없이 상호 작업 간 의존성을 포착할 수 있다.

실험 결과

연구 질문

• RQ1 의도 검출과 슬롯 채우기 간의 상호 영향을 명시적으로 모델링하는 이중모델 RNN 아키텍처가 기존의 단일 모델 또는 통합 모델 접근 방식보다 벤치마크 SLU 작업에서 더 뛰어난 성능을 보일 수 있는가?
• RQ2 이중모델 아키텍처에 디코더를 통합할 경우, 디코더가 없는 버전에 비해 의도 정확도와 슬롯 F1 스코어에서 유의미한 성능 향상이 이루어지는가?
• RQ3 제안된 이중모델은 최신 기술 수준의 통합 모델인 어텐션 기반 BiRNN과 비교하여 실제 다중 도메인 SLU 데이터에서 어떻게 성능을 발휘하는가?
• RQ4 성능 향상의 상대적 수준(예: 22.63% 상대적 F1 향상)이 증가한 모델 복잡성에 비해 정당한가?
• RQ5 의도 검출을 최적화할 경우 다른 작업의 성능이 떨어질 수 있는 일부 통합 모델과 달리, 이중모델 접근 방식은 두 작업 간의 성능 저하를 방지하는 데 더 강건한가?

주요 결과

• 디코더를 포함한 이중모델은 ATIS 벤치마크에서 최신 기술 수준 성능을 달성하여, 의도 정확도 96.89%와 슬롯 F1 스코어 98.99%를 기록하며 이전 SOTA 모델을 능가한다.
• 디코더가 없는 이중모델 역시 강력한 성능을 기록하여, 의도 정확도 96.65%와 F1 스코어 98.76%를 달성함으로써, 명시적인 상호 작업 모델링이 디코더 없이도 성능 향상에 기여한다는 것을 입증한다.
• 다중 도메인 데이터셋에서 디코더를 포함한 이중모델은 모든 도메인(movies, food, home)에서 의도 정확도를 최소 0.5%p 향상시키고, F1 스코어를 1~3%p 향상시켰다.
• 의도 정확도의 상대적 향상은 35.7% (14건에서 9건으로 오류 수 감소), 상대적 F1 향상은 22.63%로, 절대적 변화는 미미하지만 상당한 성능 향상을 의미한다.
• 디코더가 있는 모델은 ATIS 및 다중 도메인 데이터에서 모두 디코더가 없는 모델보다 뛰어난 성능을 보이며, 슬롯 채우기의 시퀀스 투 시퀀스 생성의 이점을 확인한다.
• 이중모델 접근 방식은 한 작업을 최적화할 경우 다른 작업의 성능이 저하되는 일부 통합 모델에서 관찰되는 성능 저하를 피할 수 있도록, 별개이지만 상호 연관된 학습 경로를 허용함으로써 성능 저하를 방지한다.