[논문 리뷰] Multi-tasking Dialogue Comprehension with Discourse Parsing

Yuchen He, Zhuosheng Zhang외 1명|arXiv (Cornell University)|2021. 10. 07.

Topic Modeling참고 문헌 40인용 수 12

한 줄 요약

이 논문은 다자 대화에서 기계적 독해(reading comprehension, MRC)와 논의 구조 분석(discourse parsing, DP)을 동시에 수행하는 최초의 다중 작업 학습 프레임워크를 제안한다. 이는 논의 구조를 활용하여 답변 추출 성능을 향상시킨다. 모델은 두 작업 모두에서 뚜렷한 성능 향상을 보이며, 특히 긴 대화에서 두드러진다. 이는 논의 구조 분석이 의미적으로 관련된 발언들을 거리가 먼 곳에서도 연결함으로써 이해도를 향상시킨다는 것을 보여준다.

ABSTRACT

Multi-party dialogue machine reading comprehension (MRC) raises an even more challenging understanding goal on dialogue with more than two involved speakers, compared with the traditional plain passage style MRC. To accurately perform the question-answering (QA) task according to such multi-party dialogue, models have to handle fundamentally different discourse relationships from common non-dialogue plain text, where discourse relations are supposed to connect two far apart utterances in a linguistics-motivated way.To further explore the role of such unusual discourse structure on the correlated QA task in terms of MRC, we propose the first multi-task model for jointly performing QA and discourse parsing (DP) on the multi-party dialogue MRC task. Our proposed model is evaluated on the latest benchmark Molweni, whose results indicate that training with complementary tasks indeed benefits not only QA task, but also DP task itself. We further find that the joint model is distinctly stronger when handling longer dialogues which again verifies the necessity of DP in the related MRC.

연구 동기 및 목표

• 복잡한 논의 구조와 흔한 비국소적 발언 관계를 가진 다자 대화 이해의 과제를 해결한다.
• 다자 대화에서 질문-답변(QA)과 논의 구조 분석(DP) 간의 상관관계를 조사한다.
• QA와 DP를 동시에 최적화하여 두 작업의 성능을 향상시키는 통합된 다중 작업 학습 프레임워크를 개발한다.
• 논의 구조 분석이 비접근성 관계가 있는 긴 대화에서 답변 추출을 어떻게 향상시키는지 입증한다.
• Molweni 벤치마크에서 단일 작업 학습보다 다중 작업 학습이 더 강한 성능을 낸다는 경험적 증거를 제공한다.

제안 방법

• QA와 논의 구조 분석 헤드 간에 맥락적 표현을 공유하는 다중 작업 학습 아키텍처를 제안한다.
• 다자 대화 맥락을 화자 역할과 발언 순서를 고려하여 BERT 기반 인코더로 인코딩한다.
• 스팬 수준의 답변을 예측하는 QA 헤드와 발언 간의 논의 관계를 분류하는 DP 헤드를 학습한다.
• QA와 DP 목표를 균형 있게 조정하기 위해 가중치 손실 함수를 사용하여 두 작업을 동시에 최적화한다.
• Molweni 데이터셋의 인간 레이블 기반 논의 관계를 활용하여 DP 헤드를 지도 학습한다.
• 학습 안정성 향상과 일반화 성능 향상을 위해 조기 정지와 학습률 스케줄링을 적용한다.

실험 결과

연구 질문

• RQ1 QA와 논의 구조 분석의 공동 학습이 다자 대화 MRC 성능 향상에 어떻게 기여하는가?
• RQ2 비접근성 관계가 있는 긴 대화에서 논의 구조 분석이 답변 추출에 얼마나 기여하는가?
• RQ3 어떤 논의 관계 유형이 QA 성능 향상에 가장 크게 기여하는가?
• RQ4 다중 작업 모델이 다양한 질문 유형을 다룰 때 단일 작업 QA 모델과 비교해 어떻게 다른가?
• RQ5 접근한 발언이 오해의 소지가 있을 경우 논의 구조가 답변 추출의 모호성을 해결하는 데 도움이 되는가?

주요 결과

• 다중 작업 모델은 다자 대화 MRC 분야에서 Molweni 벤치마크에서 최고 성능을 기록한다.
• 공동 학습은 QA와 논의 구조 분석 성능을 모두 향상시키며, 두 작업 간 강한 정적 상관관계가 있음을 확인한다.
• 긴 대화에서 특히 뚜렷한 성능 향상이 나타나며, 이는 논의 구조 분석이 먼 거리에 있는 관련 발언들을 연결하는 데 기여하기 때문이다.
• 공동 모델이 성공했지만 단일 QA 모델이 실패한 99건 중 58건은 논의 구조 분석 덕분에 정확한 QAP(question-answer pair) 탐지가 가능했기 때문이다.
• QAP(question-answer pair) 논의 관계가 QA 성능 향상에 가장 크게 기여하지만, 명확화 질문은 영향이 적다.
• 누구-나와 무엇-나 질문에 대해선 뛰어난 성능를 보이지만, 어떻게-나 질문에 대해서는 문법적·의미적 다양성이 높아 어려움을 겪는다.