[논문 리뷰] Dialogue Act Classification with Context-Aware Self-Attention

Vipul Raheja, Joel Tetreault|arXiv (Cornell University)|2019. 04. 04.

Speech and dialogue systems참고 문헌 29인용 수 60

한 줄 요약

이 논문은 대화 맥락 인식을 위한 컨텍스트-어웨어 셀프 어텐션을 활용한 위계적 모델을 제시하여 SwDA에서 최첨단 성능을 달성하고, 대화 전반의 맥락과 utterance-레벨 표현의 통합 및 CRF 디코딩을 통해 MRDA에서도 경쟁력 있는 결과를 보입니다.

ABSTRACT

Recent work in Dialogue Act classification has treated the task as a sequence labeling problem using hierarchical deep neural networks. We build on this prior work by leveraging the effectiveness of a context-aware self-attention mechanism coupled with a hierarchical recurrent neural network. We conduct extensive evaluations on standard Dialogue Act classification datasets and show significant improvement over state-of-the-art results on the Switchboard Dialogue Act (SwDA) Corpus. We also investigate the impact of different utterance-level representation learning methods and show that our method is effective at capturing utterance-level semantic text representations while maintaining high accuracy.

연구 동기 및 목표

• 대화 수준의 맥락을 활용하여 대화 행위(DA) 분류를 개선하려는 동기 부여.
• utterance-레벨 표현과 맥락 인식 셀프 어텐션을 결합한 계층적 모델 개발.
• 이전 utterance 맥락을 대화 수준 RNN과 CRF 디코더를 통해 모델링하여 라벨 의존성을 반영.
• SwDA 및 MRDA 데이터셋에서 모델을 평가하고 utterance 표현 학습 방법을 분석합니다.

제안 방법

• 각 utterance 내 단어를 인코딩하기 위해 utterance-level RNN을 사용하고, GloVe, ELMo, 그리고 문자 수준 CNN 임베딩을 결합합니다.
• 이전 대화 상태를 포함하는 맥락 인식 셀프 어텐션 메커니즘을 적용하여 utterance 표현을 생성합니다.
• utterance 임베딩에 대해 대화 수준 양방향 GRU를 구성하고, 그 위에 CRF 층을 두어 대화 행위 시퀀스를 공동으로 디코딩합니다.
• 다양한 utterance 표현 학습 방법(TF-IDF GloVe 베이스라인, Skip-Thought, Paragraph Vectors, 공동 학습 표현)을 실험합니다.
• 선택적으로 어텐션 변형(단어 수준 어텐션, 셀프 어텐션)을 비교하고 맥 context가 성능에 미치는 영향을 평가합니다.

실험 결과

연구 질문

• RQ1 컨텍스트 인식 셀프 어텐션이 비맥락적 표현에 비해 DA 분류를 위한 utterance 표현을 개선합니까?
• RQ2 대화 수준 맥락(이전 은닉 상태)을 도입하는 것이 SwDA와 MRDA의 분류 정확도에 어떤 영향을 줍니까?
• RQ3 다양한 utterance 표현 학습 방법이 전체 모델 성능에 미치는 영향은 무엇입니까?
• RQ4 CRF 디코딩이 이 계층적 설정에서 시퀀스 라벨링 성능에 어떤 영향을 줍니까?

주요 결과

• 제안된 방법은 SwDA에서 82.9% 정확도, MRDA에서 91.1% 정확도를 달성하여 여러 베이스라인 및 다수의 기존 방법을 능가합니다.
• 당신의 방법은 SwDA에서 최첨단을 1.6% 차로 능가하고 MRDA에선 0.6% 차 이내에 위치합니다.
• 맥락 정보는 특히 CRF 디코딩과 결합될 때 성능을 크게 향상시킵니다.
• 컨텍스트 인식 셀프 어텐션은 비맥락적 또는 베이스라인 표현보다 더 나은 utterance 표현을 제공합니다.
• 문자 수준 임베딩과 풍부한 utterance 표현(GloVe/ELMo)이 두 데이터셋에서의 개선에 기여합니다.