[논문 리뷰] Dialogue Discourse-Aware Graph Model and Data Augmentation for Meeting Summarization

Xiachong Feng, Xiaocheng Feng외 2명|arXiv (Cornell University)|2020. 12. 07.

Topic Modeling참고 문헌 25인용 수 4

한 줄 요약

이 논문은 대화의 논의 인식 그래프 모델인 DdaMS를 제안하며, 관계 기반 그래프 인코더를 사용해 회의 내 대화 간 상호작용 관계를 명시적으로 캡처한다. 또한 DdaDA라는 데이터 증강 전략을 제안하여 QA 관계를 가짜 요약으로 활용해 20배 더 큰 가짜 요약 코퍼스를 생성한다. 이는 논의 인식 상호작용을 모델링하고 확장된 데이터에서 미리 훈련함으로써 AMI 및 ICSY 회의 요약 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Meeting summarization is a challenging task due to its dynamic interaction nature among multiple speakers and lack of sufficient training data. Existing methods view the meeting as a linear sequence of utterances while ignoring the diverse relations between each utterance. Besides, the limited labeled data further hinders the ability of data-hungry neural models. In this paper, we try to mitigate the above challenges by introducing dialogue-discourse relations. First, we present a Dialogue Discourse-Dware Meeting Summarizer (DDAMS) to explicitly model the interaction between utterances in a meeting by modeling different discourse relations. The core module is a relational graph encoder, where the utterances and discourse relations are modeled in a graph interaction manner. Moreover, we devise a Dialogue Discourse-Aware Data Augmentation (DDADA) strategy to construct a pseudo-summarization corpus from existing input meetings, which is 20 times larger than the original dataset and can be used to pretrain DDAMS. Experimental results on AMI and ICSI meeting datasets show that our full system can achieve SOTA performance. Our codes will be available at: https://github.com/xcfcode/DDAMS.

연구 동기 및 목표

• 순차적 모델링의 한계를 해결하기 위해, 대화에서 대화 간 상호작용의 동적이고 비선형적 관계를 포착하지 못하는 문제를 해결한다.
• 뉴스 요약과 비교해 레이블이 부여된 데이터셋의 크기가 수개 차수 작기 때문에 발생하는 데이터 부족 문제를 완화한다.
• 대화의 논의 관계를 표현 학습 및 요약 생성 향상에 기여하는 구조적 인덕티브 바이어스로 활용할 수 있는지 탐색한다.
• 기존의 회의 구조를 활용해 합성 훈련 데이터를 생성할 수 있는 확장 가능한 데이터 증강 전략을 개발한다.
• 논의 관계의 동시 모델링과 데이터 확장 전략을 통해 표준 회의 요약 벤치마크에서 최신 기술 수준 성능을 달성한다.

제안 방법

• 세 가지 정점 유형(전반적, 발언, 논의 관계)을 가진 회의 그래프를 구성하여 정의된 대화 논의 관계를 통해 발언 간 상호작용을 모델링한다.
• 발언 표현을 관계 기반 그래프를 통해 메시지 전파를 수행하는 그래프-투-시퀀스 프레임워크를 설계하여 장거리 의존성을 캡처한다.
• 대화 논의 인식 데이터 증강(DdaDA) 전략을 구현하여 QA 관계를 가짜 요약으로 식별하고, 이후 발언을 가짜 회의로 간주한다.
• 결과적으로 생성된 20배 더 큰 합성 코퍼스를 사용해 DdaMS 모델을 미리 훈련함으로써 저자원 환경에서의 일반화 능력과 성능을 향상시킨다.
• 대표 표현 학습 및 요약 생성 향상을 위해 단어 수준과 발언 수준의 어텐션 메커니즘을 통합한다.
• 학습 시 Adam을 사용하며 고정된 학습률 0.001, 드롭아웃 비율 0.5, 추론 시에는 비드 크기 10의 비드 서치를 적용한다.

실험 결과

연구 질문

• RQ1 대화 논의 관계를 모델링하면 신경망 기반 회의 요약 모델의 성능 향상에 기여하는가?
• RQ2 기반 그래프 기반의 관계 인코더는 대화에서 다중 턴 상호작용의 비선형적 특성을 효과적으로 포착할 수 있는가?
• RQ3 대화 논의 인식 데이터 증강 전략은 얼마나 효과적으로 회의 요약의 데이터 부족 문제를 완화할 수 있는가?
• RQ4 단어 수준과 발언 수준의 어텐션 메커니즘을 동시에 사용할 경우, 각각을 별도로 사용할 때보다 더 나은 요약 생성 성능을 낼 수 있는가?
• RQ5 일부 논의 관계가 제거되었을 때 모델의 성능은 얼마나 저하되며, 그래프의 일관성과 성능에 어떤 영향을 미치는가?

주요 결과

• DdaMS 모델은 AMI 데이터셋에서 최신 기술 수준 성능을 달성하였으며, ROUGE-1, ROUGE-2, ROUGE-L 점수는 각각 51.42, 20.99, 24.89를 기록했다.
• ICSY 데이터셋에서는 DdaMS가 ROUGE-1, ROUGE-2, ROUGE-L 점수로 39.66, 10.09, 17.53을 기록하며 모든 베이스라인을 초월했다.
• 절단 실험 결과, 단어 수준 어텐션과 발언 수준 어텐션 모두 필수적임을 확인하였으며, 단어 수준 어텐션을 제거할 경우 ROUGE-1 점수가 1.15 포인트 하락했다.
• 사용되지 않는 '불필요한' 논의 관계조차도 소수만 제거되어도 성능 저하가 발생함을 확인하였으며, 이는 그래프의 일관성이 관계의 완전성에 민감함을 시사한다.
• 사례 연구 결과, DdaMS는 대화 액트에 의존하는 모델들과 달리, '과일'과 '채소' 같은 핵심 개념을 다수의 관련 발언에 주의를 기울여 더 잘 포착함을 확인했다.
• DdaDA 전략은 성공적으로 20배 더 큰 합성 코퍼스를 생성하였으며, 이는 효과적인 미리 훈련을 가능하게 하고 모델의 일반화 능력을 크게 향상시켰다.