[논문 리뷰] Discourse-Wizard: Discovering Deep Discourse Structure in your Conversation with RNNs

Chandrakant Bothe, Sven Magg외 2명|arXiv (Cornell University)|2018. 06. 29.

Topic Modeling참고 문헌 22인용 수 6

한 줄 요약

이 논문은 대화의 대화 행위를 분류하기 위해 두 개의 RNN 기반 모델—문장 수준 및 맥락 인식형—을 사용하는 실시간 웹 데모인 Discourse-Wizard를 소개한다. 이전 문장을 통합하는 계층적 RNN을 활용하는 맥락 기반 모델은 스위치보드 코퍼스에서의 정량적 및 정성적 비교를 통해 맥락에 민감한 대화 구조를 더 잘 포착함으로써 맥락 없음 모델보다 뚜렷하게 뛰어난 성능을 보였다.

ABSTRACT

Spoken language understanding is one of the key factors in a dialogue system, and a context in a conversation plays an important role to understand the current utterance. In this work, we demonstrate the importance of context within the dialogue for neural network models through an online web interface live demo. We developed two different neural models: a model that does not use context and a context-based model. The no-context model classifies dialogue acts at an utterance-level whereas the context-based model takes some preceding utterances into account. We make these trained neural models available as a live demo called Discourse-Wizard using a modular server architecture. The live demo provides an easy to use interface for conversational analysis and for discovering deep discourse structures in a conversation.

연구 동기 및 목표

• 신경망을 사용하여 대화 맥락의 핵심적 역할을 입증하기 위해.
• 실시간 대화 분석을 위한 모듈식이고 상호작용 가능한 웹 인터페이스를 개발하고 배포하기 위해.
• 맥락 무관 RNN 모델과 맥락 인식 계층적 RNN 모델 간의 대화 행위 분류 성능를 비교하기 위해.
• 연구자 및 실무자들이 대화 구조 탐색 및 모델 평가를 위한 접근 가능한 도구를 제공하기 위해.
• 확장 가능한 서버 아키텍처를 통해 다양한 대화 행위 모델의 지식 이전 및 모듈식 통합을 가능하게 하기 위해.

제안 방법

• 맥락 없음 모델은 단방향 LSTM을 사용하여 개별 문장 기반으로 대화 행위를 분류하며, 훈련 중에 단어 임베딩을 학습한다.
• 맥락 기반 모델은 다수의 이전 문장을 처리하는 계층적 RNN(HRNN)을 활용하며, 맥락 없음 모델의 은닉 상태를 입력으로 사용하여 대화 수준의 맥락을 포착한다.
• 모델 아키텍처는 50차원의 단어 임베딩과 64개의 LSTM 은닉 유닛을 사용하며, 순환 역전파를 통해 최적화되고, 분류 손실 함수로 다중 분류 교차 엔트로피 손실과 소프트맥스 출력을 사용한다.
• 웹 인터페이스는 사용자가 다중 턴 대화를 입력할 수 있도록 도와주는 디자인으로, Django를 기반으로 제작되었으며, 두 모델의 결과와 신뢰도 점수를 함께 반환한다.
• 모듈식 서버 아키텍처는 웹 인터페이스와 모델 추론 서버를 분리하여 확장 가능한 배포 및 여러 모델의 통합을 가능하게 한다.
• 시스템은 단일 문장 및 다중 턴 대화 입력을 모두 지원하며, 상위 3개 예측 및 신뢰도 수준을 보여주는 확장 가능한 표 형식으로 결과를 제시한다.

실험 결과

연구 질문

• RQ1 대화 맥락을 통합함으로써 문장 수준 분류에 비해 대화 행위 인식 정확도가 얼마나 향상되는가?
• RQ2 계층적 RNN 모델이 고립적으로 분석했을 때 모호한 대화 행위를 얼마나 잘 맥락에 민감하게 포착할 수 있는가?
• RQ3 실시간 상호작용 웹 데모가 실제 대화에서 깊이 있는 대화 구조를 효과적으로 시연하고 분석을 지원할 수 있는가?
• RQ4 동일한 표면 형태를 가진 문장들(예: 'Yeah.')이 다양한 대화 맥락에서 어떻게 다른 대화 행위로 분류되는가?
• RQ5 낮은 신뢰도 예측을 처리하는 데 있어 맥락 기반 모델의 한계는 무엇인가, 특히 모호하거나 희박한 대화 맥락에서의 경우에 대해 어떻게 되는가?

주요 결과

• 맥락 기반 모델은 'Yeah.'을 Yes-No-Question 뒤에선 'Yes-Answer'로 올바르게 분류했고, 문장 뒤에선 'Backchannel'으로 분류했지만, 맥락 없음 모델은 둘 다 'Backchannel'으로 잘못 분류했다.
• 맥락 없음 모델은 동일한 표면 형태를 가졌지만 다른 대화 기능을 가진 문장을 구분하지 못해 맥락의 필요성을 드러냈다.
• 맥락 기반 모델은 'Negative Answer' 및 'Agree/Accept'와 같이 맥락에 의존하는 행동에 대해 더 높은 신뢰도를 보였다.
• 일부 예측(예: 문장 4 및 6)에서 낮은 신뢰도를 보여, 복잡하거나 모호한 대화 의존성 모델링의 과제를 드러냈다.
• 시스템은 대화 구조가 어휘적 내용에 의해 결정되는 것이 아니라 순차적이고 맥락적인 신호에 의해 결정됨을 성공적으로 시연했다.
• 모듈식 서버 아키텍처는 추가 모델이나 코퍼스의 통합을 위한 원활한 배포 및 향후 확장성을 가능하게 했다.