[논문 리뷰] A Dual-Attention Hierarchical Recurrent Neural Network for Dialogue Act Classification

Ruizhe Li, Chenghua Lin외 3명|arXiv (Cornell University)|2018. 10. 22.

Topic Modeling참고 문헌 40인용 수 6

한 줄 요약

이 논문은 대화 행위(DA)와 발화 주제를 보조 작업으로 통합하여 DA 분류 성능을 햖थन하는 이중 주의 히에라르키컬 RNN과 CRF(DAH-CRF)를 제안한다. LDA와 이중 주의 메커니즘을 통해 주제 정보를 활용함으로써 DA와 주제 간의 상호작용을 포착하여, SWDA, DyDA, MRDA 세 개의 공개 데이터셋에서 최신 기술 수준 또는 그 이상의 성능을 달성한다.

ABSTRACT

Recognising dialogue acts (DA) is important for many natural language processing tasks such as dialogue generation and intention recognition. In this paper, we propose a dual-attention hierarchical recurrent neural network for DA classification. Our model is partially inspired by the observation that conversational utterances are normally associated with both a DA and a topic, where the former captures the social act and the latter describes the subject matter. However, such a dependency between DAs and topics has not been utilised by most existing systems for DA classification. With a novel dual task-specific attention mechanism, our model is able, for utterances, to capture information about both DAs and topics, as well as information about the interactions between them. Experimental results show that by modelling topic as an auxiliary task, our model can significantly improve DA classification, yielding better or comparable performance to the state-of-the-art method on three public datasets.

연구 동기 및 목표

• 기존 딥 러닝 모델에서 활용도가 낮은 대화 행위의 맥락적 사전 정보로서 발화 수준의 주제 정보를 통합하여 대화 행위 분류 성능을 향상시키는 것.
• 평탄한 신경망 아키텍처의 한계를 보완하기 위해 문자, 단어, 발화, 대화 수준에서 계층적으로 대화를 모델링하는 것.
• 대화 행위와 주제 간의 의존성과 상호작용을 포착하는 태스크 특화 이중 주의 메커니즘을 개발하는 것.
• 인간 레이블링이 필요한 고비용 주제 레이블링에 의존도를 줄이기 위해 무 supervision LDA를 사용하여 자동으로 발화 수준의 주제 레이블을 추론하는 것.
• 다양한 공개 대화 행위 분류 벤치마크에서 최신 기술 수준의 방법과 비교해도 더 나은 또는 경쟁 가능한 성능을 달성하는 것.

제안 방법

• 입력을 문자, 단어, 발화, 대화 수준에서 처리하는 히에라르키컬 순환 신경망을 설계하여 자연스러운 대화 구조를 유지하는 것.
• 각 발화 내에서 대화 행위 관련 표현과 주제 관련 표현을 별도로 주의하는 이중 주의 메커니즘을 도입하는 것.
• 인간 레이블링 없이도 자동으로 발화 수준의 주제 레이블을 추론하기 위해 LDA를 사용하여 모델의 일반화 능력을 향상시키는 것.
• 대화 행위 간 순차적 의존성을 모델링하기 위해 히에라르키컬 RNN 위에 조건부 랜덤 필드(CRF) 레이어를 통합하는 것.
• 주요 작업은 대화 행위 분류, 보조 작업은 주제 예측인 다중 작업 학습 목표로 모델을 종합적으로 훈련하는 것.
• 태스크 특화 주의 헤드를 적용하여 DA 및 주제 예측에 유의미한 단어를 동적으로 가중함으로써 표현 학습을 향상시키는 것.

실험 결과

연구 질문

• RQ1 주제 맥락을 무시하는 모델에 비해, 주제 정보를 보조 작업으로 모델링함으로써 대화 행위 분류 성능 향상이 이루어지는가?
• RQ2 대화 행위와 주제를 함께 모델링하는 이중 주의 메커니즘이 표현 학습과 분류 정확도에 어떤 영향을 미치는가?
• RQ3 의미적으로 유사한 대화 행위, 예를 들어 'bk'와 'b' 간의 오분류를 주제 정보 통합이 어느 정도 감소시키는가?
• RQ4 평탄한 RNN 또는 CNN 기반 모델에 비해 히에라르키컬 아키텍처가 대화 내 장거리 의존성을 더 잘 포착하는가?
• RQ5 인간 레이블링 없이도 LDA를 통한 무 supervision 주제 모델링이 주제 맥락의 대체 수단으로 효과적으로 기능하는가?

주요 결과

• 주제 정보를 보조 작업으로 모델링함으로써, SWDA, DyDA, MRDA 세 데이터셋 전반에서 대화 행위 분류 정확도가 크게 향상된다.
• 제안된 모델은 Raheja와 Tetreault(2019)의 최신 기술 수준 방법과 비교해 모든 데이터셋에서 더 나은 또는 유사한 성능을 달성한다.
• 성능 향상 폭이 가장 큰 클래스는 'bk'(응답 수락)로, 11.7% 향상되었으며, 이는 'bk'를 'b'(백채널 수락)로 잘못 분류하는 오류가 크게 감소했기 때문이다.
• 주제 신호를 활용함으로써 'bk'와 'b' 간의 혼동을 줄였다. 'bk' 발화는 음악, 운동과 같은 개인적 여가 주제와 더 자주 연관되어 있다.
• 'qo'(개방형 질문) 및 'qw'(wh-질문) 클래스의 경우, 기준 모델보다 성능이 떨어지는데, 이는 이 두 클래스 간 주제 분포가 유사하여 판별력이 떨어지기 때문일 수 있다.
• 주의 시각화 결과, DAH-CRF+LDA utt는 기준 모델보다 대화 행위에 관련된 핵심 단어(예: 'please', 'tell', 'if', 'reasonable')를 더 잘 식별하는 것으로 확인되었다. 반면 기준 모델은 'because' 또는 'uh-huh'와 같은 채움 어휘에 과도하게 집중하는 경향이 있었다.