[논문 리뷰] Transformers to Learn Hierarchical Contexts in Multiparty Dialogue for Span-based Question Answering

Changmao Li, Jinho D. Choi|arXiv (Cornell University)|2020. 04. 07.

Topic Modeling참고 문헌 10인용 수 6

한 줄 요약

이 논문은 다자 대화에서 스파이크 기반 질의응답을 위한 계층적 트랜스포머 표현을 사용한 다중 작업 미세조정 방법을 제안하며, 대화 맥락 이해를 향상시키기 위해 문장 수준의 마스킹 언어 모델링과 문장 순서 예측을 도입한다. 이 방법은 FriendsQA에서 SOTA 성능을 달성하여 BERT와 RoBERTa보다 각각 3.8%와 1.4% 높은 정확도 매칭 성능을 기록한다.

ABSTRACT

We introduce a novel approach to transformers that learns hierarchical representations in multiparty dialogue. First, three language modeling tasks are used to pre-train the transformers, token- and utterance-level language modeling and utterance order prediction, that learn both token and utterance embeddings for better understanding in dialogue contexts. Then, multi-task learning between the utterance prediction and the token span prediction is applied to fine-tune for span-based question answering (QA). Our approach is evaluated on the FriendsQA dataset and shows improvements of 3.8% and 1.4% over the two state-of-the-art transformer models, BERT and RoBERTa, respectively.

연구 동기 및 목표

• 다양한 화자로 구성된 비균일한 대화 문장들을 모델링하는 데 어려움을 겪는 기존 트랜스포머 모델의 스파이크 기반 질의응답 성능 저하 문제를 해결하기 위해.
• 특화된 사전 훈련 작업을 통해 토큰 수준과 문장 수준에서 계층적 표현을 학습하여 대화 이해를 향상시키기 위해.
• 스파이크 예측과 문장 식별 예측을 동시에 미세조정하여 대화 맥락에서의 모델 일반화 및 추론 능력을 향상시키기 위해.
• 스파이크 기반 QA 벤치마크에서 대화 특화 사전 훈련 목표—문장 수준의 마스킹 언어 모델링과 문장 순서 예측—의 효과를 평가하기 위해.
• 특히 실체 해석과 다중 문장 간 추론을 포함한 복잡한 질문에서의 실패 모드와 오류 유형을 분석하기 위해.

제안 방법

• 토큰 수준의 마스킹 언어 모델링(t-MLM), 문장 수준의 마스킹 언어 모델링(u-MLM), 문장 순서 예측(UOP)의 세 가지 작업을 사용해 트랜스포머 모델을 사전 훈련한다.
• t-MLM을 통해 전체 대화 시퀀스에서 문맥적 토큰 표현을 학습하여 화자와 문장 경계를 유지한다.
• u-MLM을 적용하여 전체 문장을 마스킹하고 맥락에서 복원함으로써 문장 수준의 표현을 학습함으로써 문장 수준의 의미 이해를 향상시킨다.
• UOP을 통해 뒤섞인 문장을 올바른 순서로 예측함으로써 대화의 순차적 구조를 학습함으로써 시간적 및 논리적 일관성 모델링 능력을 향상시킨다.
• 스파이크 예측(답안 추출을 위한)과 문장 식별 예측(대화 구조 인식을 위한)을 동시에 최적화하는 다중 작업 미세조정을 통해 모델을 미세조정한다.
• 추론 중 계층적 추론을 가능하게 하기 위해 토큰 임베딩과 문장 임베딩에 대해 별도의 멀티헤드 어텐션 메커니즘을 활용한다.

실험 결과

연구 질문

• RQ1 문장 수준의 마스킹 언어 모델링과 문장 순서 예측은 대화 맥락에서 문장 수준 표현의 질을 향상시키는가?
• RQ2 스파이크 예측과 문장 식별 예측에 대한 공동 다중 작업 미세조정은 다자 대화에서의 스파이크 기반 질의응답 성능을 향상시키는가?
• RQ3 FriendsQA 데이터셋에서 대화 특화 사전 훈련 목표는 표준 사전 훈련과 비교해 최종 QA 성능에 어떻게 영향을 미치는가?
• RQ4 스파이크 기반 QA에서 주로 발생하는 오류 유형은 무엇이며, '누구', '어떻게', '왜'와 같은 질문 유형과 어떻게 관련이 있는가?
• RQ5 계층적 표현은 실체 해석과 다중 문장 간 추론 작업에서 오류를 얼마나 줄이는가?

주요 결과

• 제안된 방법은 FriendsQA 데이터셋에서 53.5%의 정확도 매칭(EM)을 달성하여 BERT보다 3.8%p, RoBERTa보다 1.4%p 높은 성능을 기록한다.
• 문장 수준의 마스킹 언어 모델링과 문장 순서 예측을 함께 사용하고, 스파이크 예측 및 문장 식별 예측에 대해 공동 미세조정을 수행할 경우 최고의 성능을 기록하며, BERT보다 3.8%p, RoBERTa보다 1.4%p 향상된다.
• 제거 실험 결과, u-MLM와 UOP는 개별적으로는 미미한 성능 향상만을 보였지만, 문장 식별 예측과의 조합에서는 성능 향상이 뚜렷하게 나타나 사전 훈련과 미세조정 간의 상호보완적 상호작용이 있음을 시사한다.
• 오류 분석 결과, 실체 해석과 다중 문장 간 추론이 가장 흔한 오류 유형으로, '누구'와 '어떻게' 질문에서 각각 34%와 25%의 오류를 차지한다.
• 전체 사전 훈련 및 다중 작업 미세조정 설정을 사용할 경우, 문장 간 추론이 필요한 복잡한 질문에서 BERT와 RoBERTa보다 각각 2%p와 1%p 높은 EM 성능을 기록하며 특히 향상된 성능을 보였다.
• 결과적으로 대화 특화 사전 훈련 목표는 대화 QA 성능 향상에 필수적이며, 특히 구조화된 다중 작업 미세조정과 조합될 경우 더욱 효과적임을 입증한다.