[논문 리뷰] Joint Slot Filling and Intent Detection via Capsule Neural Networks

Chenwei Zhang, Yaliang Li외 3명|arXiv (Cornell University)|2018. 12. 22.

Topic Modeling참고 문헌 24인용 수 39

한 줄 요약

이 논문은 동적 라우팅-합의를 통해 단어, 슬롯, 의도 간의 계층적 관계를 모델링함으로써 슬롯 채우기와 의도 검출을 동시에 수행하는 캡슐 신경망 모델인 Capsule-NLU를 제안한다. 이 모델은 유추된 의도 표현을 활용하는 새로운 재라우팅 메커니즘을 통해 슬롯 채우기 성능을 향상시켜, 기존 아키텍처 및 상용 NLU 서비스와 비교해 두 개의 실세계 데이터셋에서 최고 성능을 달성한다.

ABSTRACT

Being able to recognize words as slots and detect the intent of an utterance has been a keen issue in natural language understanding. The existing works either treat slot filling and intent detection separately in a pipeline manner, or adopt joint models which sequentially label slots while summarizing the utterance-level intent without explicitly preserving the hierarchical relationship among words, slots, and intents. To exploit the semantic hierarchy for effective modeling, we propose a capsule-based neural network model which accomplishes slot filling and intent detection via a dynamic routing-by-agreement schema. A re-routing schema is proposed to further synergize the slot filling performance using the inferred intent representation. Experiments on two real-world datasets show the effectiveness of our model when compared with other alternative model architectures, as well as existing natural language understanding services.

연구 동기 및 목표

• 기존의 파ip라인 모델과 공동 모델이 단어, 슬롯, 문장 수준의 의도 간의 계층적 관계를 명시적으로 모델링하지 못하는 한계를 해결하기 위해.
• 동적 라우팅-합의를 통해 캡슐 네트워크가 계층적 특징 계층을 포착할 수 있는 능력을 활용해 공동 슬롯 채우기 및 의도 검출을 향상시키기 위해.
• 새로운 재라우팅 스키마를 통해 유추된 의도 표현을 통합함으로써 슬롯 채우기 성능을 향상시키기 위해.
• 기존의 RNN/CNN 기반 순차적 레이블링을 캡슐 기반 라우팅으로 대체함으로써 순차적 모델에서 흔한 오류 전파를 제거하기 위해.

제안 방법

• 모델는 입력 단어를 표현하기 위해 WordCaps를 사용하고, 슬롯 유형을 표현하기 위해 SlotCaps를 사용하며, 예측의 일치도를 바탕으로 각 단어를 가장 적절한 슬롯 캡슐에 할당하는 동적 라우팅-합의를 적용한다.
• 슬롯 표현은 WordCaps에서 SlotCaps로의 동적 라우팅을 통해 학습되며, 주의 유사 라우팅 가중치를 통해 단어-슬롯 관계를 포착한다.
• 문장 수준의 의도는 SlotCaps에서 IntentCaps로의 동적 라우팅을 통해 예측되며, 슬롯 표현을 집계하여 고수준의 의도 표현을 생성한다.
• 유래된 의도 표현을 사용해 슬롯 채우기를 개선하기 위해 재가중치를 적용하는 새로운 재라우팅 스키마가 도입된다.
• 슬롯 채우기와 의도 검출을 동시에 최적화하기 위해, 두 작업에 대한 교차 엔트로피를 조합한 통합 손실 함수를 사용한다.
• 단어, 슬롯, 의도 수준 간의 계층적 구조를 유지하기 위해, 전통적인 순차적 압축을 피하고 캡슐 라우팅을 사용한다.

실험 결과

연구 질문

• RQ1 캡슐 네트워크는 공동 NLU 작업에서 단어, 슬롯, 문장 수준의 의도 간의 계층적 관계를 효과적으로 모델링할 수 있는가?
• RQ2 동적 라우팅-합의가 공동 의도 검출에서 슬롯 채우기의 전통적 RNN 또는 CNN 기반 순차적 레이블링보다 우수한가?
• RQ3 유추된 문장 수준의 의도가 재라우팅 메커니즘을 통해 단어 수준의 슬롯 채우기를 향상시킬 수 있는가?
• RQ4 제안된 재라우팅 스키마는 표준 캡슐 라우팅과 비교해 슬롯 채우기 성능을 어떻게 향상시키는가?
• RQ5 Capsule-NLU는 기존 모델 및 상용 서비스와 비교해 실세계 NLU 벤치마크에서 최고 성능을 달성하는가?

주요 결과

• 제안된 Capsule-NLU 모델은 두 개의 실세계 NLU 데이터셋에서 기존 기준 아키텍처 및 상용 NLU 서비스를 능가하는 최고 성능을 달성한다.
• 재라우팅 스키마는 예측된 의도 표현을 활용해 단어-슬롯 라우팅 결정을 재가중함으로써 슬롯 채우기 F1 스코어를 크게 향상시킨다.
• 동적 라우팅-합의가 단어, 슬롯, 의도 간의 계층적 관계를 성공적으로 모델링하여 순차적 모델보다 더 나은 표현 학습을 가능하게 한다.
• 공유된 표현을 사용해 슬롯 채우기와 의도 검출을 공동으로 훈련함으로써 파이프라인 접근 방식에서 흔한 오류 전파를 줄인다.
• 실험 결과 캡슐 기반 접근 방식이 추가적인 특징 공학 없이도 다양한 문장에 대해 잘 일반화됨을 보여준다.
• RNN 기반 방법과 달리 단일 벡터 기반의 컨텍스트 압축에 의존하지 않기 때문에, 장문의 시퀀스에 대해서도 안정성을 유지한다.