[논문 리뷰] DADgraph: A Discourse-aware Dialogue Graph Neural Network for Multiparty Dialogue Machine Reading Comprehension

Jiaqi Li, Ming Liu외 5명|arXiv (Cornell University)|2021. 04. 26.

Topic Modeling참고 문헌 36인용 수 10

한 줄 요약

DADgraph는 다자 대화 기계 독해를 위한 논의 인식 그래프 신경망으로, 논의 의존 링크와 관계를 사용하여 복잡한 대화 구조를 모델링한다. Molweni 데이터셋의 논의 구조가 주석 처리된 자료를 활용함으로써, DADgraph는 BiDAF, BERT, DialogueGCN와 같은 강력한 베이스라인을 능가하는 성능을 달성하였으며, 테스트 세트에서 46.5 EM과 61.5 F1의 성능을 기록하였다.

ABSTRACT

Multiparty Dialogue Machine Reading Comprehension (MRC) differs from traditional MRC as models must handle the complex dialogue discourse structure, previously unconsidered in traditional MRC. To fully exploit such discourse structure in multiparty dialogue, we present a discourse-aware dialogue graph neural network, DADgraph, which explicitly constructs the dialogue graph using discourse dependency links and discourse relations. To validate our model, we perform experiments on the Molweni corpus, a large-scale MRC dataset built over multiparty dialogue annotated with discourse structure. Experiments on Molweni show that our discourse-aware model achieves statistically significant improvements compared against strong neural network MRC baselines.

연구 동기 및 목표

• 기존의 기계 독해 모델이 포착하지 못하는 복잡하고 선형이 아닌 다자 대화의 논의 구조를 모델링하는 데 도전한다.
• 순차적 모델링(예: RNN)과 완전히 연결된 그래프 구조(예: DialogueGCN)의 한계를 극복하여 장거리 의존성과 논의 일관성을 포착한다.
• 명시적인 논의 관계와 의존 링크를 사용한 논의 인식 그래프 구축 방법을 도입하여 대화 표현 학습을 향상시킨다.
• 논의 구조의 효과성을 검증하여 다자 대화의 추출적 기계 독해에서 답변 구간 예측 성능을 향상시킨다.
• 논의 구조를 통합함으로써 강력한 신경 기계 독해 베이스라인 모델에 비해 통계적으로 유의미한 성능 향상이 이루어지는지 입증한다.

제안 방법

• 노드가 발언을 나타내고, 간선이 논의 의존 링크와 논의 관계 유형(예: Q-Elab, QAP, Ack)에 의해 정의되는 대화 그래프를 구축한다.
• 선형 순서의 발언을 유지하는 순차적 컨텍스트 인코더를 사용하여 국소적 순차적 의존성을 보존한다.
• 장거리 의미적 의존성을 포착하기 위해 논의 인식 대화 그래프를 통해 표현을 전파하고 집계하는 그래프 신경망(GNN)을 적용한다.
• 순차적 및 그래프 인코더에서 유도된 컨텍스트 기반 표현을 기반으로 답변 구간을 식별하기 위해 MRC 모듈에 다중 헤드 어텐션 메커니즘을 통합한다.
• Molweni 데이터셋에서 스파니드 예측 손실을 사용하여 엔드 투 엔드 모델을 훈련하고, EM 및 F1 지표를 최적화한다.
• 논의 관계와 구조를 제거하여 성능에 미치는 기여도를 평가하기 위해 추론 분석을 수행한다.

Figure 1: (a) Multiparty dialogue from Molweni , with accompanying (b) contributed questions and answers, and (c) discourse structure. Correct answers are marked in red. Q-Elab, QAP, Expl and Ack. respectively represent the Question-Elaboration, Question-Answer Pair, Explanation and Acknowledgements

실험 결과

연구 질문

• RQ1 표준 순차적 또는 완전히 연결된 그래프 모델에 비해 논의 인식 그래프 모델링이 다자 대화의 기계 독해 성능을 향상시키는가?
• RQ2 특정 논의 관계 유형(예: Q-Elab, 설명)이 복잡한 대화에서 답변 구간 예측에 얼마나 기여하는가?
• RQ3 명시적인 논의 구조를 통합함으로써 비연속적인 발언 간 장기 의존성을 더 잘 모델링할 수 있는가?
• RQ4 대규모 논의 주석이 부여된 기계 독해 데이터셋에서 DADgraph는 BiDAF, BERT, DialogueGCN와 같은 강력한 베이스라인 모델에 비해 어떻게 성능을 내는가?
• RQ5 논의 구조와 원시적인 발언 순서 중 어느 것이 기계 독해 성능 향상에 더 기여하는가?

주요 결과

• DADgraph는 Molweni 테스트 세트에서 46.5 EM과 61.5 F1의 성능을 기록하여 BiDAF, DocQA, BERT, DialogueRNN, DialogueGCN와 같은 강력한 베이스라인을 능가하였다.
• 추론 분석 결과, 논의 관계를 제거하면 EM이 1.6점 감소(46.5에서 44.9로), F1가 0.9점 감소(61.5에서 60.6으로)하여 그 중요성을 확인하였다.
• 전체 논의 구조를 제거(즉, 완전히 연결된 그래프 사용)하면 EM은 44.7로, F1는 60.5로 감소하여 구조적 비일관성이 성능에 악영향을 준다는 것을 시사하였다.
• 사례 연구 결과, DADgraph는 DialogueRNN과 DialogueGCN가 실패하는 경우에도 정답을 올바르게 예측하는 것으로 나타났으며, 특히 비연속적인 발언 간 참조 해석과 정확한 답변 구간 식별에서 뛰어난 성능을 보였다.
• Q-Elab 및 Ack와 같은 논의 관계를 효과적으로 활용하여 모호성을 해소하고 답변 정렬을 향상시키는 것으로 나타났으며, Ubuntu나 가속 아키텍처의 기능 누락 여부에 관한 질문에서 특히 두드러졌다.
• 논의 인식 그래프 구조는 특히 기존 RNN과 완전히 연결된 그래프가 어려워하는 장거리 의존성에 대해 더 나은 표현 학습을 가능하게 하였다.

Figure 2: Dialogue graph modeling using discourse structure. The edge between vertices is the discourse dependency link with discourse relation. Different colors of nodes and edges respectively represent different speakers and different discourse relations.