[논문 리뷰] Dialogue Discourse-Aware Graph Convolutional Networks for Abstractive Meeting Summarization.

Xiachong Feng, Xiaocheng Feng외 3명|arXiv (Cornell University)|2020. 12. 07.

Topic Modeling참고 문헌 41인용 수 22

한 줄 요약

이 논문은 대화 특화의 논의 구조를 그래프로 모델링하여 순차적 방법보다 더 나은 의미 표현을 가능하게 하는 대화 논의 인식 그래프 컨볼루션 네트워크(DDA-GCN)를 제안한다. 이 방법은 사전 훈련을 위해 질문-답변 관계에서 유도된 가짜 요약 코퍼스를 사용하여 AMI 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Sequence-to-sequence methods have achieved promising results for textual abstractive meeting summarization. Different from documents like news and scientific papers, a meeting is naturally full of dialogue-specific structural information. However, previous works model a meeting in a sequential manner, while ignoring the rich structural information. In this paper, we develop a Dialogue Discourse-Aware Graph Convolutional Networks (DDA-GCN) for meeting summarization by utilizing dialogue discourse, which is a dialogue-specific structure that can provide pre-defined semantic relationships between each utterance. We first transform the entire meeting text with dialogue discourse relations into a discourse graph and then use DDA-GCN to encode the semantic representation of the graph. Finally, we employ a Recurrent Neural Network to generate the summary. In addition, we utilize the question-answer discourse relation to construct a pseudo-summarization corpus, which can be used to pre-train our model. Experimental results on the AMI dataset show that our model outperforms various baselines and can achieve state-of-the-art performance.

연구 동기 및 목표

• 모임에서 대화 특화의 구조적 정보를 포착하는 데 있어 순차적 모델링의 한계를 해결하기 위해.
• 구조화된 그래프 표현으로 논의 관계를 통합하여 추상적 회의 요약을 향상시키기 위해.
• 질문-답변 논의 관계를 활용하여 가짜 요약 코퍼스를 생성하는 사전 훈련 전략을 개발하기 위해.
• 논의 인식 그래프 인코딩을 활용하여 회의 요약 벤치마크에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 대화 전사문을 문장 간 정의된 대화 논의 관계를 사용해 논의 그래프로 변환하기 위해.
• 그래프 컨볼루션 네트워크(GCNs)를 적용하여 논의 그래프에서 의미 표현을 인코딩하고, 장거리 의존성과 구조적 의미를 포착하기 위해.
• 인코딩된 그래프 표현에서 추상적 요약을 생성하기 위해 순환 신경망(RNN) 디코더를 사용하기 위해.
• 사전 훈련을 가능하게 하기 위해 질문-답변 논의 관계를 활용하여 가짜 요약 코퍼스를 구성하기 위해.
• 가짜 코퍼스에서의 사전 훈련을 보완한 순서-순서 목표로 모델을 엔드 투 엔드로 훈련하기 위해.

실험 결과

연구 질문

• RQ1 대화 논의 관계를 그래프로 모델링하는 것이 추상적 회의 요약 성능 향상에 기여하는가?
• RQ2 질문-답변 논의 관계를 활용해 가짜 요약 코퍼스를 생성하는 것이 사전 훈련에 얼마나 효과적인가?
• RQ3 구조적 논의 정보를 통합함으로써 순차적 모델링 대비 더 나은 의미 표현 학습이 이루어지는가?
• RQ4 DDA-GCN 모델이 기존의 순서 기반 방법에 비해 회의 요약 벤치마크에서 얼마나 뛰어난 성능을 보이는가?

주요 결과

• 제안된 DDA-GCN 모델은 추상적 회의 요약에서 AMI 데이터셋에서 최신 기술 수준의 성능를 달성한다.
• 그래프 구조에서 대화 논의 관계를 활용하면 순차적 모델링 대비 의미 표현 학습이 크게 향상된다.
• 질문-답변 논의 관계에서 파생된 가짜 요약 코퍼스에서의 사전 훈련은 모델의 일반화 능력과 성능을 향상시킨다.
• 모델은 복잡한 대화 구조를 잘 포착하고 일관되고 추상적인 요약을 생성하는 데 뛰어난 성능를 보인다.