[논문 리뷰] Guiding attention in Sequence-to-sequence models for Dialogue Act prediction

Pierre Colombo, Émile Chapuis외 4명|arXiv (Cornell University)|2020. 02. 20.

Topic Modeling참고 문헌 25인용 수 7

한 줄 요약

이 논문은 대화 행위(DA) 예측을 위한 계층적 인코더와 새로운 가이드된 어텐션 메커니즘을 갖춘 시퀀스 투 시퀀스 모델을 제안하며, 국소적 종속성을 넘어서 전반적인 레이블 종속성을 모델링하여 이전 방법들을 능가한다. 모델은 엔드 투 엔드 훈련과 비트 서치, 시퀀스 수준의 피취조정을 통해 수동 기반 특징 또는 CRF 후처리 없이 SwDA에서 85%의 정확도와 MRDA에서 91.6%의 정확도를 기록하여 새로운 최고 성능 기록을 수립한다.

ABSTRACT

The task of predicting dialog acts (DA) based on conversational dialog is a key component in the development of conversational agents. Accurately predicting DAs requires a precise modeling of both the conversation and the global tag dependencies. We leverage seq2seq approaches widely adopted in Neural Machine Translation (NMT) to improve the modelling of tag sequentiality. Seq2seq models are known to learn complex global dependencies while currently proposed approaches using linear conditional random fields (CRF) only model local tag dependencies. In this work, we introduce a seq2seq model tailored for DA classification using: a hierarchical encoder, a novel guided attention mechanism and beam search applied to both training and inference. Compared to the state of the art our model does not require handcrafted features and is trained end-to-end. Furthermore, the proposed approach achieves an unmatched accuracy score of 85% on SwDA, and state-of-the-art accuracy score of 91.6% on MRDA.

연구 동기 및 목표

• 현재의 DA 분류 모델이 선형 CRF를 통해 국소적 종속성만을 고려하는 한계를 해결하기 위해.
• 신경 기계 번역에 영감을 받은 시퀀스 투 시퀀스 프레임워크를 활용해 대화 행위의 전반적인 순차적 종속성을 모델링하기 위해.
• 계층적 인코딩과 새로운 가이드된 어텐션 메커니즘을 활용해 DA 분류 정확도를 향상시키기 위해.
• 엔드 투 엔드 훈련을 통해 수동 기반 특징에 의존하지 않도록 하기 위해.
• 비트 서치와 시퀀스 수준의 피취조정이 예측 성능 향상에 기여하는지 평가하기 위해.

제안 방법

• 발화 수준 및 대화 수준의 표현을 모델링하기 위해 계층적 GRU 인코더를 사용한다.
• 예측된 레이블 위치에 기반해 관련된 발화에 집중하도록 제약을 두는 하드 가이드드 어텐션 메커니즘을 도입한다.
• 다양한 디코딩 경로를 탐색하기 위해 훈련 및 추론 모두에서 비트 서치를 적용한다.
• 전체 시퀀스 정확도를 최적화하기 위해 시퀀스 수준의 손실 함수를 사용하여 피취조정을 수행한다.
• 수동 기반 특징 또는 후처리 CRF 계층 없이 엔드 투 엔드로 모델을 훈련한다.
• 표준 인코더-디코더 아키텍처를 사용하며, GRU 셀과 어텐션을 활용해 DA 시퀀스 생성에 적합하게 조정한다.

실험 결과

연구 질문

• RQ1 시퀀스 투 시퀀스 모델이 국소적 레이블 전이를 넘어서 장거리 종속성을 효과적으로 포착할 수 있는가?
• RQ2 표준 어텐션과 비교했을 때, 가이드된 어텐션은 입력 발화와 예측된 대화 행위 간의 정렬을 어떻게 향상시키는가?
• RQ3 훈련 및 추론 중 비트 서치를 적용하면 DA 예측의 시퀀스 수준 정확도가 유의미하게 향상되는가?
• RQ4 시퀀스 수준의 손실 함수를 사용한 엔드 투 엔드 훈련이 이 시퀀스 레이블링 작업에서 표준 크로스 엔트로피 훈련보다 우수한 성능을 낼 수 있는가?
• RQ5 CRF 기반 후처리에 의존하는 최고 성능 모델들과 비교했을 때, 제안된 모델은 어떻게 성능을 내는가?

주요 결과

• 제안된 seq2seq 모델은 SwDA에서 85%의 정확도를 기록하며, 이전 최고 성능(82.9%)을 2.1%포인트 향상시켰다.
• MRDA 데이터셋에서는 91.6%의 정확도를 달성하여 이전 연구에서 보고된 최고 수준의 결과와 동일하거나 이를 초월했다.
• 하드 가이드드 어텐션 메커니즘이 어텐션 변종들 중에서 가장 높은 성능을 보였으며, 레이블 정렬을 향상시키고 예측 오류를 감소시켰다.
• 시퀀스 수준의 손실 함수를 사용한 피취조정은 SwDA에서 정확도를 1.0% 향상시켰다(84.0% → 85.0%)와 MRDA에서 1.2% 향상시켰다(90.4% → 91.6%).
• 훈련 중 비트 서치가 추론 전용 비트 서치보다 더 뛰어난 성능을 보였으며, 최적의 비트 크기는 훈련 시 SwDA에선 2, MRDA에선 5였다.
• 수동 기반 특징이나 CRF 후처리 없이도 최고 성능을 달성하여, 가이드된 어텐션을 활용한 엔드 투 엔드 학습의 효과성을 입증했다.