[논문 리뷰] Exploiting Sentence and Context Representations in Deep Neural Models for Spoken Language Understanding

Lina M. Rojas Barahona, Milica Gašić외 5명|arXiv (Cornell University)|2016. 10. 13.

Speech and dialogue systems참고 문헌 18인용 수 14

한 줄 요약

이 논문은 말하기 언어 이해를 위한 딥 신경망 아키텍처를 제안하며, 어순이 일치하지 않는 의미 애너테이션을 활용하여 대화 액션과 슬롯-값 쌍을 동시에 예측한다. 문장 표현에는 컨volutional 신경망(CNN)을, 문맥 모델링에는 LSTMs를 사용한다. 이 모델은 수동적 특징 공학 또는 탈디얼렉셜라이제이션 없이도 DSTC2 및 In-car 데이터셋에서 ICE 점수와 F1 점수 측면에서 이전 베이스라인을 능가하며, 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper presents a deep learning architecture for the semantic decoder component of a Statistical Spoken Dialogue System. In a slot-filling dialogue, the semantic decoder predicts the dialogue act and a set of slot-value pairs from a set of n-best hypotheses returned by the Automatic Speech Recognition. Most current models for spoken language understanding assume (i) word-aligned semantic annotations as in sequence taggers and (ii) delexicalisation, or a mapping of input words to domain-specific concepts using heuristics that try to capture morphological variation but that do not scale to other domains nor to language variation (e.g., morphology, synonyms, paraphrasing ). In this work the semantic decoder is trained using unaligned semantic annotations and it uses distributed semantic representation learning to overcome the limitations of explicit delexicalisation. The proposed architecture uses a convolutional neural network for the sentence representation and a long-short term memory network for the context representation. Results are presented for the publicly available DSTC2 corpus and an In-car corpus which is similar to DSTC2 but has a significantly higher word error rate (WER).

연구 동기 및 목표

• 단어가 일치하지 않는 의미 애너테이션이나 수동적 탈디얼렉셜라이제이션에 의존하지 않는 의미 디코더를 개발하는 것.
• 분산된 의미 표현을 활용하여 자원이 적고 노이즈가 많은 ASR 환경에서도 강건성을 향상시키는 것.
• 응용 프로그램 전용 의미 사전이 필요 없이 다양한 대화 도메인에 걸쳐 확장 가능한 구현을 가능하게 하는 것.
• 최소한의 사전 처리로 엔드 투 엔드 딥 러닝을 통해 대화 액션과 슬롯-값 쌍을 동시에 예측하는 것.
• 높은 단어 오류 비율 조건에서 문맥 모델링이 슬롯 채우기 성능에 미치는 영향을 평가하는 것.

제안 방법

• 원시 발화에서 문장 수준의 표현을 학습하기 위해 컨volutional 신경망(CNN)을 사용한다.
• 대화 이력 간의 문맥적 의존성을 모델링하기 위해 장기 단기 기억(LSTM) 네트워크를 활용한다.
• CNN과 LSTM의 최상위 특징을 비선형 함수를 통해 조합하여 대화 액션과 슬롯 존재 여부의 동시 예측을 수행한다.
• 1단계에서 대화 액션 및 슬롯 분류를 위해 별도의 소프트맥스 레이어를 적용한다.
• 2단계에서 검출된 각 슬롯에 대해 별도의 소프트맥스 레이어를 사용하여 슬롯 값 예측을 수행한다.
• 명시적 탈디얼렉셜라이제이션 또는 히우리스틱 매핑 없이, 일치하지 않는 의미 애너테이션에서 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 딥 신경망 아키텍처가 어순이 일치하지 않는 의미 애너테이션을 요구하지 않고도 대화 액션과 슬롯-값 쌍을 동시에 예측할 수 있는가?
• RQ2 문장 표현과 문맥 표현의 통합이 노이즈가 많은 ASR 가설에서 성능을 어떻게 향상시키는가?
• RQ3 분산된 단어 표현이 의미 디코딩에서 수동적 탈디얼렉셜라이제이션을 얼마나 효과적으로 대체할 수 있는가?
• RQ4 높은 단어 오류 비율 조건에서 문맥 모델링이 슬롯 F-측정치에 실제로 유의미한 영향을 미치는가?
• RQ5 다양한 대화 도메인과 다양한 슬롯 기수(카디널리티)에서 모델의 성능은 어떻게 되는가?

주요 결과

• 4단어 문맥 윈도우를 사용한 CNN+LSTM 모델은 DSTC2 코퍼스에서 최고의 아이템 교차 엔트로피(ICE) 점수 0.758을 기록하며, 모든 베이스라인을 능가한다.
• In-car 코퍼스에서는 ICE 점수가 1.106을 기록하여 WNGRAMS 베이스라인(1.497)을 크게 앞서며, WNGRAMS+Ctxt 베이스라인(1.497)과도 경쟁 수준이다.
• DSTC2에서 F1 점수는 83.59%를 기록하여 SLU1 베이스라인(80.2%)을 초월하며, 수동적 특징 없이도 강력한 일반화 능력을 보였다.
• In-car에서 F1 점수는 73.06%를 기록하여 WNGRAMS 베이스라인(70.8%)을 능가했으며, 문맥 특징을 사용하지 않았음에도 불구하고 WNGRAMS+Ctxt 모델의 성능에 근접했다.
• 높은 단어 오류 비율 조건에서도 강건성을 보였으며, 문맥 모델링이 노이즈가 많은 환경에서 슬롯 F-측정치를 유의미하게 향상시켰다.
• DSTC2 코퍼스에서 대화 액션 분류 정확도는 95.72%이며, 슬롯 분류 F1 점수는 90.60%를 기록하여 의미 이해 작업에서 뛰어난 성능을 보였다.