[논문 리뷰] Modeling Token-level Uncertainty to Learn Unknown Concepts in SLU via Calibrated Dirichlet Prior RNN

Yilin Shen, Wenhu Chen외 1명|arXiv (Cornell University)|2020. 10. 16.

Topic Modeling참고 문헌 36인용 수 4

한 줄 요약

이 논문은 알려지지 않은 개념 애너테이션을 요구하지 않고 슬롯 채우기에서 토큰 수준의 불확실성을 모델링하는 校정된 디리클레 사전 확률 RNN을 제안한다. 소프트맥스 기반 RNN에 디리클레 사전 확률를 통합하고, 다중 작업 학습을 통해 농도 매개변수를 校정함으로써, 이 방법은 최신 기술 수준의 성능을 달성하며, Snips, ATIS 및 개념 학습 벤치마크에서 OOD 개념 탐지에서 F1 점수를 최대 8.18% 향상시킨다.

ABSTRACT

One major task of spoken language understanding (SLU) in modern personal assistants is to extract semantic concepts from an utterance, called slot filling. Although existing slot filling models attempted to improve extracting new concepts that are not seen in training data, the performance in practice is still not satisfied. Recent research collected question and answer annotated data to learn what is unknown and should be asked, yet not practically scalable due to the heavy data collection effort. In this paper, we incorporate softmax-based slot filling neural architectures to model the sequence uncertainty without question supervision. We design a Dirichlet Prior RNN to model high-order uncertainty by degenerating as softmax layer for RNN model training. To further enhance the uncertainty modeling robustness, we propose a novel multi-task training to calibrate the Dirichlet concentration parameters. We collect unseen concepts to create two test datasets from SLU benchmark datasets Snips and ATIS. On these two and another existing Concept Learning benchmark datasets, we show that our approach significantly outperforms state-of-the-art approaches by up to 8.18%. Our method is generic and can be applied to any RNN or Transformer based slot filling models with a softmax layer.

연구 동기 및 목표

• 말하기 언어 이해(SLU)에서 알려지지 않은 개념을 탐지하는 데 있어 알려지지 않은 개념 데이터의 애너테이션을 요구하지 않는 문제에 대응하기 위해.
• 디리클레 사전 확률를 사용하여 RNN 기반 슬롯 채우기 모델에서 토큰 수준의 불확실성을 모델링함으로써, 분포 외(OOD) 개념을 탐지할 수 있도록 하기 위해.
• 다중 작업 학습을 통해 디리클레 농도 매개변수를 校정함으로써 불확실성 추정의 강건성을 향상시키기 위해.
• Transformer 및 BERT를 포함한 어떤 소프트맥스 기반 모델에도 적용 가능한 일반적인 방법을 개발하기 위해.
• 실제 OOD 개념 탐지 시나리오를 반영한 벤치마크 데이터셋에서 접근법을 평가하기 위해.

제안 방법

• RNN 학습 중에 디리클레 사전 확률를 소프트맥스 레이어로 분해함으로써 디리클레 사전 확률 RNN을 도입하여, 모델 아키텍처를 유지하면서도 불확실성 모델링이 가능하도록 하였다.
• 디리클레 농도 매개변수의 다중 작업 학습 목표를 제안하여 불확실성 추정의 강건성을 향상시켰다.
• 어순 구조(예: 의존성 트리)를 활용하여 높은 불확실성의 구문을 추출하여 잠재적인 알려지지 않은 개념으로 삼는다.
• 디리클레 엔트로피를 신뢰도 점수로 사용하여 알려지지 않은 개념일 가능성이 높은 토큰을 식별한다.
• 불확실성 校정을 적용하여 볼 수 없는 OOD 단어에서의 과도한 자신감을 줄이며, 특히 OOV 단어가 존재할 경우에 매우 효과적이다.
• 특정한 알려지지 않은 개념 애너테이션 없이도 표준 슬롯 채우기 데이터에서 종단 간(end-to-end)으로 모델을 훈련시켰다.

실험 결과

연구 질문

• RQ1 RNN 기반 슬롯 채우기 모델에 디리클레 사전 확률를 통합하는 것이 알려지지 않은 개념 탐지에 있어 토큰 수준의 불확실성을 효과적으로 모델링할 수 있는가?
• RQ2 디리클레 농도 매개변수의 다중 작업 학습에 의한 校정이 불확실성 추정의 강건성을 향상시키는가?
• RQ3 제안된 방법은 실제 세계의 OOD 개념 탐지에서 최신 기술 수준의 베이스라인 대비 어떻게 성능을 내는가?
• RQ4 어순 정보를 통합할 경우 알려지지 않은 개념 추출 성능가 얼마나 향상되는가?
• RQ5 이 방법은 Transformer 및 BERT와 같은 다른 모델로 일반화될 수 있는가?

주요 결과

• 디리클레 엔트로피와 어순 정보를 조합했을 때, 개념 학습 벤치마크에서 최신 기술 수준(SOTA) 대비 5.04% 절대 F1 점수 향상이 이루어졌다.
• ATIS 데이터셋에서, 방법은 최신 기술 수준 대비 F1 점수를 3.62% 향상시켰으며, Snips에서는 5.41% 향상되었다.
• 개념 학습 데이터셋에서 최대 8.18%의 F1 점수 향상이 이루어졌으며, 특히 새로운 개념에 속하는 OOV 단어에서 유의미한 성능 향상이 있었다.
• 디리클레 엔트로피는 드롭아웃 변동, 가우시안 노이즈, 상위 후보의 분산과 같은 기준 불확실성 지표보다 성능이 뛰어났다.
• 어순 정보의 추가가 개념 학습 데이터셋에서 성능을 크게 향상시켰는데, 이는 새로운 개념이 종종 명사구로 구성되기 때문이며, Snips 및 ATIS에서는 단일 단어나 비어 있는 구문 개념이므로 영향이 제한적이었다.
• 통계적 유의성 검정을 통해 최고 성능을 낸 방법(교정된 사전 확률 RNN + 디리클레 엔트로피 + 어순 정보)이 모든 데이터셋에서 모든 최신 기술 수준 경쟁자들을 유의미하게 뛰어넘는다(p-value < 0.01).