[논문 리뷰] A Novel Bi-directional Interrelated Model for Joint Intent Detection and Slot Filling

E Haihong, Peiqing Niu외 2명|arXiv (Cornell University)|2019. 06. 30.

Topic Modeling참고 문헌 14인용 수 95

한 줄 요약

SF-ID 네트워크를 도입하여 슬롯 채움(SF)과 의도 탐지(ID)를 양방향으로 상호 관련시키고, 상호 강화를 촉진하는 반복 메커니즘을 통해 ATIS 및 Snips 데이터셋에서 개선을 달성한다.

ABSTRACT

A spoken language understanding (SLU) system includes two main tasks, slot filling (SF) and intent detection (ID). The joint model for the two tasks is becoming a tendency in SLU. But the bi-directional interrelated connections between the intent and slots are not established in the existing joint models. In this paper, we propose a novel bi-directional interrelated model for joint intent detection and slot filling. We introduce an SF-ID network to establish direct connections for the two tasks to help them promote each other mutually. Besides, we design an entirely new iteration mechanism inside the SF-ID network to enhance the bi-directional interrelated connections. The experimental results show that the relative improvement in the sentence-level semantic frame accuracy of our model is 3.79% and 5.42% on ATIS and Snips datasets, respectively, compared to the state-of-the-art model.

연구 동기 및 목표

• 작업 간 양방향 연결을 활용하여 슬롯 채움(SF)과 의도 탐지(ID)의 공동 SLU를 동기 부여한다.
• SF-ID 네트워크를 제안하여 슬롯 채움과 의도 탐지를 직접 연결한다.
• 상호 작업 간 상호 작용을 강화하는 반복 메커니즘을 도입한다.
• ATIS와 Snips에서 슬롯 채움, 의도 탐지 및 문장 수준 정확도 향상을 보여준다.

제안 방법

• SF-ID 네트워크는 두 개의 하위 네트워크로 구성된다: 슬롯 채움(SF) 하위 네트워크와 의도 탐지(ID) 하위 네트워크.
• SF와 ID 모두의 컨텍스트를 주의 기반으로 통합하여 c_slot 및 c_inte 벡터를 형성한다.
• c_slot과 c_inte를 연결하는 상관계수 f로부터 도출된 슬롯 강화 벡터 r_slot.
• ID 하위 네트워크를 통해 슬롯 정보로부터 생성된 의도 강화 벡터 r_inte.
• SF와 ID 하위 네트워크 간 반복 상호 작용을 통해 r_inte와 r_slot을 재정의하는 반복 메커니즘.
• SF-우선 또는 ID-우선 모드로 작동하는 옵션과 SF 출력에 대한 CRF 계층의 선택적 사용.

실험 결과

연구 질문

• RQ1 슬롯 채움과 의도 탐지 간의 양방향 상호 관련 메커니즘이 SLU 성능을 향상시킬 수 있는가?
• RQ2 반복적 상호 작용이 있는 명시적 SF-ID 네트워크가 표준 SLU 벤치마크에서 기존의 공동 모델들을 능가하는가?
• RQ3 SF-우선 대 ID-우선 배열 및 CRF 계층이 전체 성능에 미치는 영향은 무엇인가?

주요 결과

• SF-ID 네트워크는 ATIS에서 문장 수준의 의미 프레임 정확도를 기존 최첨단 모델에 비해 3.79% 향상시키고 Snips에서 5.42% 향상시켰다.
• SF 및 ID 하위 네트워크 모두 성능에 기여하며, 하위 네트워크 간의 상호 작용이 비상호 작용 구성보다 더 나은 결과를 낳는다.
• ID-우선 모드가 슬롯 채움 성능을 향상시키는 반면, SF-우선 모드는 의도 탐지 성능을 높인다.
• 세 번의 라운드가 SF-우선 모드에서 ATIS와 Snips 모두에서 문장 정확도 최고치를 가져온다.
• CRF 계층은 일반적으로 도움을 주며, 특히 슬롯 채움에서 더 나은 시퀀스 디코딩을 가능하게 한다.