[논문 리뷰] Dynamic Time-Aware Attention to Speaker Roles and Contexts for Spoken Language Understanding

Po-Chun Chen, Ta-Chung Chi외 2명|arXiv (Cornell University)|2017. 09. 30.

Topic Modeling참고 문헌 19인용 수 3

한 줄 요약

이 논문은 다중 전환 대화에서 시간적 맥락과 발화자 역할을 함께 모델링하는 시간 인지형, 역할 인지형 어텐션 메커니즘을 제안한다. 내용과 발화자 역할에 따라 이전 발화에 대한 동적 어텐션을 학습함으로써, DSTC4 벤치마크에서 의도 탐지 및 슬롯 채우기 성능을 향상시켰으며, 가이드 이해에 대해 77%의 F1을 기록하고 관광객 이해에 대해 70%의 F1을 기록하였다.

ABSTRACT

Spoken language understanding (SLU) is an essential component in conversational systems. Most SLU component treats each utterance independently, and then the following components aggregate the multi-turn information in the separate phases. In order to avoid error propagation and effectively utilize contexts, prior work leveraged history for contextual SLU. However, the previous model only paid attention to the content in history utterances without considering their temporal information and speaker roles. In the dialogues, the most recent utterances should be more important than the least recent ones. Furthermore, users usually pay attention to 1) self history for reasoning and 2) others' utterances for listening, the speaker of the utterances may provides informative cues to help understanding. Therefore, this paper proposes an attention-based network that additionally leverages temporal information and speaker role for better SLU, where the attention to contexts and speaker roles can be automatically learned in an end-to-end manner. The experiments on the benchmark Dialogue State Tracking Challenge 4 (DSTC4) dataset show that the time-aware dynamic role attention networks significantly improve the understanding performance.

연구 동기 및 목표

• 파ipeline SLU 시스템에서의 오류 전파 문제를 해결하기 위해 다중 전환 맥락을 엔드 투 엔드 학습에 직접 통합한다.
• 최근 발화를 이전 발화보다 우선시하는 시간 역동성을 모델링하여 말하기 언어 이해 성능을 향상시킨다.
• 사용자와 에이전트의 대화 이해에서 서로 다른 역할을 고려하여 발화자 역할(사용자 대비 에이전트)을 핵심 신호로 통합한다.
• 내용, 발화자 역할, 시간적 관련성을 동적으로 가중하는 엔드 투 엔드 어텐션 메커니즘을 설계하여 더 나은 맥락 인코딩을 달성한다.
• 내용 인지형, 시간 인지형, 역할 인지형 어텐션을 통합한 동적 어텐션 메커니즘이 복잡한 인간-인간 대화에서 성능 향상에 기여함을 입증한다.

제안 방법

• 각 발화와 그 발화자 역할을 맥락적 표현으로 인코딩하기 위해 양방향 LSTM을 사용한다.
• 내용, 시간적 가까움, 발화자 역할에 기반하여 이전 발화를 종합적으로 고려하는 다중 헤드 어텐션 메커니즘을 적용한다.
• 최근 발화에 더 높은 어텐션 가중치를 할당하여 시간 인지형 어텐션을 도입함으로써, 시간이 지남에 따라 관련성의 감쇠를 모델링한다.
• 사용자 이력과 에이전트 이력을 서로 다른 방식으로 가중할 수 있도록 역할 수준 어텐션을 구현함으로써 대화에서의 서로 다른 인지적 역할을 반영한다.
• 예측된 의도 및 슬롯 레이블과 진짜 레이블 간의 차이를 최소화하기 위해 교차 엔트로피 손실을 사용하여 전체 모델을 엔드 투 엔드로 훈련시킨다.
• 문장 수준, 내용 인지형, 시간 인지형, 역할 수준 어텐션 메커니즘을 계층적 어텐션 모듈에 통합하여 더 나은 맥락 모델링을 구현한다.

실험 결과

연구 질문

• RQ1 정적 맥락 인코딩에 비해 대화 이력의 시간 역동성을 모델링하면 말하기 언어 이해 성능이 향상되는가?
• RQ2 사용자(사용자 대비 에이전트)의 발화자 역할을 통합하면 다중 전환 대화에서 의도 이해 및 슬롯 채우기 능력에 어떤 영향을 미치는가?
• RQ3 내용, 시간, 발화자 역할을 동시에 고려하는 동적 어텐션 메커니즘이 단일 또는 이중 요소만 고려하는 모델보다 우수한가?
• RQ4 학습된 어텐션 가중치가 인간의 중요 맥락에 대한 직관과 얼마나 일치하는가?
• RQ5 제안된 어텐션 메커니즘은 두 명 이상의 발화자가 있는 대화로 일반화 가능한가?

주요 결과

• 제안된 시간 인지형 어텐션 메커니즘이 SLU 성능을 크게 향상시켰으며, 가이드 이해에 대해 최고의 F1 점수로 77%를 기록하고 관광객 이해에 대해 70%를 기록하였다.
• 문장 수준 어텐션만으로도 성능 향상이 이루어졌으며(관광객 이해에 대해 F1 68.3%), 이는 기본적인 맥락 모델링이 도움이 된다는 것을 시사한다.
• 역할 수준 어텐션은 내용 인지형 및 시간 인지형 신호와 함께 통합되었을 때에만 더 나은 성능을 내며, 이는 역할 어텐션만으로는 정밀도가 부족함을 시사한다.
• 관광객 발화를 이해할 때 가이드 이력에 더 많은 주의를 기울이는 경향을 보였으며(0.52 대비 0.48), 이는 에이전트의 신호를 듣는 것이 중요함을 반영한다.
• 같은 역할의 이력만을 사용할 경우 관광객 이해 성능은 68.3%에서 65.9%로 떨어지며, 이는 교차 역할 맥락이 정확한 이해에 필수적임을 확인한다.
• 가이드 이력만을 사용할 경우 가이드 이해 성능은 74.4%에서 73.8%로 안정적으로 유지되며, 이는 가이드 발화가 사용자 이력과 독립적으로 예측 가능한 패턴을 따름을 시사한다.