[논문 리뷰] Filling the Gap of Utterance-aware and Speaker-aware Representation for Multi-turn Dialogue

Longxiang Liu, Zhuosheng Zhang외 3명|arXiv (Cornell University)|2020. 09. 14.

Speech and dialogue systems인용 수 9

한 줄 요약

이 논문은 사전 학습된 언어 모델에서 마스크된 어텐션 메커니즘을 통해 발화 인식 및 발화자 인식 표현을 명시적으로 모델링함으로써 검색 기반 다회화 대화 시스템의 성능을 향상시키는 Maked 기반 분리-융합 네트워크(MDFN)를 제안한다. 이 방법은 네 가지 벤치마크 데이터셋에서 강력한 ELECTRA 기반 모델 대비 성능을 크게 향상시키며, 발화자 역할과 발화 수준의 맥락을 분리함으로써 더 나은 추론과 응답 선택을 가능하게 하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

A multi-turn dialogue is composed of multiple utterances from two or more different speaker roles. Thus utterance- and speaker-aware clues are supposed to be well captured in models. However, in the existing retrieval-based multi-turn dialogue modeling, the pre-trained language models (PrLMs) as encoder represent the dialogues coarsely by taking the pairwise dialogue history and candidate response as a whole, the hierarchical information on either utterance interrelation or speaker roles coupled in such representations is not well addressed. In this work, we propose a novel model to fill such a gap by modeling the effective utterance-aware and speaker-aware representations entailed in a dialogue history. In detail, we decouple the contextualized word representations by masking mechanisms in Transformer-based PrLM, making each word only focus on the words in current utterance, other utterances, two speaker roles (i.e., utterances of sender and utterances of receiver), respectively. Experimental results show that our method boosts the strong ELECTRA baseline substantially in four public benchmark datasets, and achieves various new state-of-the-art performance over previous methods. A series of ablation studies are conducted to demonstrate the effectiveness of our method.

연구 동기 및 목표

• 기존 검색 기반 다회화 대화 시스템에서 발화 인식 및 발화자 인식 표현의 명시적 모델링 부족 문제를 해결하기 위해.
• 발화자 역할 전환과 국소적 발화 의미를 더 효과적으로 포착함으로써 응답 선택 정확도를 향상시키기 위해.
• 자기 어텐션에서 원거리 맥락과 발화자 역할을 뒤섞는 표준 사전 학습된 언어 모델의 한계를 극복하기 위해.
• 다양한 대화 벤치마크에서 성능을 향상시키는 모듈식이고 효과적이며 일반화 가능한 방법을 설계하기 위해.
• 대화 표현 학습에서 분리 메커니즘과 융합 전략의 필요성과 효과성을 검증하기 위해.

제안 방법

• Transformer 기반 사전 학습된 언어 모델에 마스크 메커니즘을 적용하여 어텐션을 현재 발화, 다른 발화, 또는 발화자 역할(발신자/수신자)으로 별도로 고립시킨다.
• 발화 인식 및 발화자 인식 모델링을 위해 별도의 마스크 패턴을 적용함으로써 컨텍스트 기반 단어 표현을 분리하여 관련 하위 구성 요소에 집중된 어텐션을 가능하게 한다.
• 게이트드 융합 메커니즘이 분리된 표현을 융합하며, 원본 단어 표현을 기준으로 하여 최적의 정보 보존을 위한 어텐션 가중치를 계산한다.
• 분리 후 발화 간 순차적 의존성을 모델링하기 위해 BiGRU 레이어를 사용하여 터닝 수준 맥락을 포착한다.
• 최종 표현은 max-pooling을 사용하여 단어 수준 특징을 집계함으로써, 평균 풀링이나 CNN 기반 방법보다 더 선명한 신호를 유지한다.
• 이 프레임워크는 BERT, RoBERTa, ELECTRA 등 다양한 사전 학습된 언어 모델과 호환되어 다양한 모델 아키텍처 간 일반화가 가능하다.

실험 결과

연구 질문

• RQ1 명시적인 발화 인식 및 발화자 인식 표현 학습이 다회차 대화에서 응답 선택에 어떻게 기여하는가?
• RQ2 핵심어 대체 및 역할 전환 처리에서 발화 인식 모델링과 발화자 인식 모델링 간 상대적 기여도는 어떠한가?
• RQ3 다양한 융합 및 집계 전략이 최종 대화 표현 품질에 어떤 영향을 미치는가?
• RQ4 제안된 분리 메커니즘이 다양한 사전 학습된 언어 모델 간 효과적으로 일반화될 수 있는가?
• RQ5 짧은 대화 시퀀스에 대해 분리와 BiGRU 레이어의 최적 깊이는 얼마인가?

주요 결과

• MDFN 모델은 네 개의 공개 검색 기반 다회차 대화 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, MuTual 데이터셋에서 ELECTRA 기반 모델 대비 R@1에서 5.1%의 절대적 향상을 보였다.
• 제거 실험 결과, 발화자 인식 모델링이 가장 중요한 구성 요소임을 확인하였으며, 이를 생략한 모델보다 유의미하게 뛰어난 성능을 보였다.
• 최대 풀링이 평균 풀링 및 CNN 기반 방법보다 우수하며, 후자는 고정된 필터 공유로 인해 일반화 성능이 열 劣하다.
• 단일 분리 레이어로도 충분하며, 깊은 스택보다 성능이 뛰어나며, 깊이가 증가할수록 학습에 악영향을 주고 노이즈를 유발한다.
• BiGRU 레이어의 깊이가 한 개를 초과하면 성능이 저하되며, 짧은 대화 시퀀스에선 얕은 모델링이 최적임을 시사한다.
• 이 방법은 다양한 사전 학습된 모델 간에 잘 일반화되며, 기초 및 대용량 버전의 BERT, RoBERTa, ELECTRA 모두에서 일관된 향상을 보였다.