[논문 리뷰] End-to-End Abstractive Summarization for Meetings.

Chenguang Zhu, Ruochen Xu외 2명|arXiv (Cornell University)|2020. 04. 04.

Topic Modeling참고 문헌 22인용 수 13

한 줄 요약

이 논문은 미팅 녹취록을 위한 엔드 투 엔드 추상적 요약 모델을 제안하며, 화자 간 차이와 장기적 맥락을 포착하기 위해 역할 인식 히에라르키컬 네트워크를 사용한다. ICSI 데이터셋에서 ROUGE-1 점수 39.51%를 기록하여 자동 평가와 인간 평가 모두에서 이전 방법들보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

With the abundance of automatic meeting transcripts, meeting summarization is of great interest to both participants and other parties. Traditional methods of summarizing meetings depend on complex multi-step pipelines that make joint optimization intractable. Meanwhile, there are a handful of deep neural models for text summarization and dialogue systems. However, the semantic structure and styles of meeting transcripts are quite different from articles and conversations. In this paper, we propose a novel end-to-end abstractive summary network that adapts to the meeting scenario. We design a role vector to depict the difference among speakers and a hierarchical structure to accommodate long meeting transcripts. Empirical results show that our model considerably outperforms previous approaches in both automatic metrics and human evaluation. For example, in the ICSI dataset, the ROUGE-1 score increases from 32.00% to 39.51%.

연구 동기 및 목표

• 뉴스 기사나 대화와는 스타일과 구조가 크게 다른 미팅 녹취록에서 고품질 추상적 요약을 생성하는 과제를 해결한다.
• 통합 최적화를 방해하고 화자별 기여도를 모델링하지 못하는 전통적 다단계 파이프라인의 한계를 극복한다.
• 미팅 녹취록의 화자 역할과 장기적 순차적 의존성을 동시에 모델링하는 신경망 아키텍처를 설계한다.
• 자동 평가 지표와 인간 평가 모두에서 기존 방법들보다 요약 성능을 향상시킨다.

제안 방법

• 화자 신원을 인코딩하고 미팅 내 참가자 간 기여도를 구분하기 위해 역할 벡터를 도입한다.
• 발화 수준과 턴 수준의 표현을 모두 포착함으로써 장기적 미팅 녹취록을 모델링하기 위해 히에라르키컬 인코더를 구현한다.
• 녹취록에서 요약문으로 직접 매핑하는 엔드 투 엔드 학습 가능한 추상적 요약 네트워크를 설계한다.
• 해당 모델은 디코딩 중 관련 발화와 화자 역할에 집중하기 위해 어텐션 메커니즘을 사용한다.
• 직렬에서 직렬로의 학습을 통해 크로스 엔트로피 손실을 사용해 모델을 엔드 투 엔드로 훈련시킨다.
• 히에라르키컬 구조를 활용해 장기적인 대화에서 시간적 맥락과 화자 인식 맥락을 유지한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 신경망 모델이 다단계 파이프라인보다 우수한 성능을 내며, 미팅 녹취록에 대해 효과적으로 추상적 요약을 생성할 수 있는가?
• RQ2 화자별로 특화된 역할 벡터가 다자간 미팅에서 요약 품질을 향상시키는 데 어떤 영향을 미치는가?
• RQ3 히에라르키컬 인코딩 구조가 장기적 미팅 녹취록의 모델링에 얼마나 기여하는가?
• RQ4 제안된 모델이 ICSI와 같은 표준 벤치마크에서 자동 평가와 인간 평가 모두에서 뛰어난 성능을 내는가?

주요 결과

• 제안된 모델은 ICSI 데이터셋에서 ROUGE-1 점수 39.51%를 기록하여 이전 최고 성능인 32.00%보다 뚜렷한 향상을 이뤘다.
• 인간 평가 결과, 제안 모델이 생성한 요약은 이전 방법보다 더 유창하고 정보량이 많으며 관련성이 높은 것으로 확인되었다.
• 역할 벡터의 통합은 화자별 기여도를 더 잘 포착하여 요약의 통일성과 내용 선택에 기여했다.
• 히에라르키컬 구조는 국소적 발화 수준의 맥락과 전반적 턴 수준의 맥락을 모두 유지함으로써 장기적 미팅 녹취록의 효과적인 모델링을 가능하게 했다.
• 모델은 다양한 미팅 시나리오에서 뛰어난 성능을 보이며 강력한 일반화 능력을 보였다.
• 엔드 투 엔드 훈련 철학은 인코딩과 디코딩의 통합 최적화를 가능하게 하여 다단계 시스템보다 더 우수한 요약 품질을 달성했다.