[논문 리뷰] Zero-shot User Intent Detection via Capsule Neural Networks

Congying Xia, Chenwei Zhang외 3명|arXiv (Cornell University)|2018. 09. 02.

Topic Modeling참고 문헌 19인용 수 15

한 줄 요약

이 논문은 기존의 의도에서 새로운 의도로의 지식을 전이하고 계층적인 의미 특징을 학습함으로써 라벨이 없는 새로운 의도에 대해 제로샷 설정에서 사용자 의도를 탐지하는 캡슐 네트워크 기반 모델인 IntentCapsNet과 IntentCapsNet-ZSL을 제안한다. 이 모델들은 두 개의 실세계 데이터셋에서 최신 기술 수준의 성능을 달성하며, 새로운 의도에 대한 레이블 데이터가 필요로 하지 않으면서도 강력한 일반화 능력과 해석 가능성을 보여준다.

ABSTRACT

User intent detection plays a critical role in question-answering and dialog systems. Most previous works treat intent detection as a classification problem where utterances are labeled with predefined intents. However, it is labor-intensive and time-consuming to label users' utterances as intents are diversely expressed and novel intents will continually be involved. Instead, we study the zero-shot intent detection problem, which aims to detect emerging user intents where no labeled utterances are currently available. We propose two capsule-based architectures: INTENT-CAPSNET that extracts semantic features from utterances and aggregates them to discriminate existing intents, and INTENTCAPSNET-ZSL which gives INTENTCAPSNET the zero-shot learning ability to discriminate emerging intents via knowledge transfer from existing intents. Experiments on two real-world datasets show that our model not only can better discriminate diversely expressed existing intents, but is also able to discriminate emerging intents when no labeled utterances are available.

연구 동기 및 목표

• 라벨이 없는 훈련 데이터가 존재하는 대화 시스템에서 새로운 의도를 탐지하는 문제에 대응하기 위해.
• 외부 애너테이션이나 광범위한 재훈련 없이도 기존 의도에서 새로운 의도로 일반화할 수 있는 제로샷 학습 프레임워크를 개발하기 위해.
• 캡슐 네트워크의 계층적 특징 학습과 동적 라우팅 기능을 활용하여 의도 탐지에서 더 높은 해석 가능성과 강건성을 확보하기 위해.
• 라벨 유사도와 라우팅 정보를 사용하여 기존 의도에서 새로운 의도로 지식을 전이하기 위해.

제안 방법

• 의도 문장에서 의미 특징을 추출하기 위해 자기주의(multi-head self-attention)를 사용하는 캡슐 기반 아키텍처인 IntentCapsNet을 적용한다.
• 의미 특징을 고수준의 의도 표현으로 집계하기 위해 동적 라우팅-에이그리먼트 메커니즘을 적용한다.
• 기존 의도에서 새로운 의도로의 투표 벡터와 라우팅 정보를 전이함으로써 IntentCapsNet을 IntentCapsNet-ZSL로 확장한다.
• 지식 전이 신호로써 의도 레이블 유사도를 통합하여 제로샷 추론을 안내한다.
• 기존 및 새로운 의도 문장에 대해 특징 추출 행동을 분석하기 위해 어텐션 메커니즘을 사용한다.
• 기존 의도에 대한 레이블 데이터로 훈련하고, 학습된 표현과 유사도 기반 라우팅을 사용하여 새로운 의도에 대해 제로샷 추론을 수행한다.

실험 결과

연구 질문

• RQ1 캡슐 네트워크는 의도 탐지에서 사용자 문장에 대해 계층적인 의미 표현을 효과적으로 학습할 수 있는가?
• RQ2 캡슐 네트워크의 동적 라우팅-에이그리먼트 메커니즘은 기존 분류기와 비교해 의도 식별 능력을 향상시킬 수 있는가?
• RQ3 기존 의도에서의 지식을 효과적으로 전이하여 새로운 사용자 의도를 제로샷으로 탐지할 수 있는가?
• RQ4 의도 레이블 유사도는 캡슐 프레임워크에서 제로샷 의도 탐지 성능에 어떤 영향을 미치는가?
• RQ5 의미 캡슐은 다양한 의도 유형 간에 이식 가능하고 해석 가능한 특징 추출 행동을 얼마나 잘 보여주는가?

주요 결과

• IntentCapsNet은 다양한 표현 방식을 가진 기존 의도를 탐지하는 데 있어 기존 방법들을 능가하며, 뛰어난 특징 추상화 능력과 분류 정확도를 입증한다.
• IntentCapsNet-ZSL은 새로운 의도에 대해 높은 제로샷 탐지 정확도를 달성하였으며, 유사도 분포 분산이 0.005를 초과할 경우 20개의 새로운 의도 중 13개가 정확도 ≥ 0.83를 기록하였다.
• 의미 캡슐은 이식 가능한 어텐션 패턴을 보인다: 'PlayMusic'에서 'play'를 탐지하는 동일한 어텐션 헤드가 'RateABook'에서 'rate'를 식별함으로써 의도 간 특징 일반화가 가능하다.
• 모델의 성능은 새로운 의도와 기존 의도 레이블 간의 유사도 분포 분산에 크게 영향을 받으며, 분산이 클수록 더 높은 제로샷 성능과 상관관계가 있다.
• 레이블 유사도와 라우팅 정보의 통합은 효과적인 지식 전이를 가능하게 하여 새로운 의도에 대한 레이블 데이터 의존도를 감소시킨다.
• 캡슐 기반 아키텍처는 시각화 가능한 어텐션 메커니즘을 제공하여, 예측에 기여하는 의미적 구성 요소(예: 동작, 대상, 점수)를 분석할 수 있다.