[논문 리뷰] Sequential Dialogue Context Modeling for Spoken Language Understanding

Ankur Bapna, Gökhan Tür외 2명|arXiv (Cornell University)|2017. 05. 08.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 순차적 대화 인코더 네트워크(Sequential Dialogue Encoder Network, SDEN)를 제안한다. 이는 청취어순에 따라 대화 맥락을 모델링하는 순환 신경망 아키텍처로, 대화 이해(SLU) 성능을 향상시킨다. 다중 턴 대화 기록을 순차적으로 인코딩함으로써, 이전 턴만을 사용하거나 주의 기반 메모리 네트워크를 사용하는 모델에 비해 의미적 프레임 오류율을 감소시킨다. 특히 다양한 도메인의 대화를 재결합하여 훈련시킬 경우 일반화 능력이 향상된다.

ABSTRACT

Spoken Language Understanding (SLU) is a key component of goal oriented dialogue systems that would parse user utterances into semantic frame representations. Traditionally SLU does not utilize the dialogue history beyond the previous system turn and contextual ambiguities are resolved by the downstream components. In this paper, we explore novel approaches for modeling dialogue context in a recurrent neural network (RNN) based language understanding system. We propose the Sequential Dialogue Encoder Network, that allows encoding context from the dialogue history in chronological order. We compare the performance of our proposed architecture with two context models, one that uses just the previous turn context and another that encodes dialogue context in a memory network, but loses the order of utterances in the dialogue history. Experiments with a multi-domain dialogue dataset demonstrate that the proposed architecture results in reduced semantic frame error rates.

연구 동기 및 목표

• 기존 SLU 시스템이 이전 시스템 턴만을 맥락으로 사용해 애매함이 해결되지 않는 문제를 해결하기 위해.
• RNN를 사용하여 대화 맥락을 순차적이고 연속적인 방식으로 모델링함으로써 대화 이해 성능을 향상시키기 위해.
• 더 풍부한 대화 기록을 활용하여 다양한 도메인, 다중 터닝 목표 지향 대화에서 의미적 프레임 오류율을 감소시키기 위해.
• 복잡하고 혼합 도메인의 대화를 시뮬레이션하기 위해 대화 재결합 기법을 개발하여 데이터 증강 기법을 마련하기 위해.
• 실제 SLU 작업에서 순차적 맥락 모델링이 주의 기반 메모리 네트워크와 단일 터닝 맥락보다 우수한 성능을 보이는지 평가하기 위해.

제안 방법

• HRED의 확장으로, 세션 수준의 인코딩 이전에 쿼리 수준의 인코딩과 현재 발화 표현을 결합하는 순차적 대화 인코더 네트워크(Sequential Dialogue Encoder Network, SDEN)를 제안한다.
• 대화 기록의 시간적 순서를 유지하면서 발화를 순차적으로 인코딩하는 계층적 RNN 아키텍처를 사용한다.
• 현재 발화를 이전 터닝들과 비교하기 위해 코사인 유사도 기반 주의를 사용하는 메모리 네트워크를 활용하지만, 발화 순서를 유지하지는 않는다.
• 단일 도메인 대화를 결합하여 다중 도메인 세션을 생성하는 대화 재결합 기법을 적용하여 훈련 데이터의 복잡성과 터닝 길이를 증가시킨다.
• 다양한 도메인 대화 데이터셋에서 RNN 기반 태깅 헤드를 사용하여 의도, 도메인, 슬롯 분류를 공동으로 훈련한다.
• 프레임 오류율(FER)을 사용하여 성능을 평가하고, 주의 분포를 분석하여 모델이 애매한 발화에서 어떻게 행동하는지 해석한다.

실험 결과

연구 질문

• RQ1 이전 턴만을 사용하는 모델에 비해, 시간 순서에 따라 대화 맥락을 모델링하는 것이 대화 이해 성능을 향상시키는가?
• RQ2 순차적 RNN 기반 맥락 인코더가 발화 순서를 잃는 주의 기반 메모리 네트워크보다 다양한 도메인 대화에서 성능이 뛰어나게 되는가?
• RQ3 대화 재결합을 통한 데이터 증강 기법이 복잡하고 혼합 도메인 테스트 세트에서 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ4 모델 아키텍처의 복잡성이 낮은 데이터 환경에서 합성 맥락으로부터 얻는 이점에 어떤 영향을 미치는가?
• RQ5 여러 이전 발화가 상호 보완적인 정보를 제공할 경우, 순차적 맥락 모델링이 애매한 사용자 발화를 더 잘 해결할 수 있는가?

주요 결과

• 재결합된 대화로 훈련된 경우, 이전 터닝 맥락 모델과 메모리 네트워크에 비해 순차적 대화 인코더 네트워크(SDEN)가 오류율 측면에서 뛰어난 성능을 보였다.
• 더 길고 혼합 도메인인 테스트 세트에서 SDEN이 가장 뛰어난 성능을 보였으며, 이는 실제 대화의 복잡성에 대한 뛰어난 일반화 능력을 시사한다.
• 대화 재결합 없이도 메모리 네트워크가 가장 뛰어난 성능을 보였지만, 맥락이 더 복잡해지자 성능이 크게 떨어져, 다양한 도메인 환경에서의 일반화 능력이 떨어지는 것으로 나타났다.
• 대화 재결합은 특히 SDEN과 같이 복잡한 아키텍처에 대해 성능 향상을 크게 이끌어내었으며, 이는 훈련 데이터의 다양성과 터닝 길이를 증가시켰기 때문이다.
• 주의 시각화 결과, SDEN은 가장 관련성이 높은 최근 발화에 집중하는 것으로 나타났고, 메모리 네트워크는 산산이 흩어진 주의를 보여, 맥락 활용의 정밀도가 떨어지는 것으로 나타났다.
• 재결합 없이 낮은 데이터 환경에서는 SDEN이 일반화에 실패했으며, 파rameter 수가 많고 아키텍처가 복잡하여 과적합에 취약한 것으로 나타났다.