[논문 리뷰] A Hierarchical Network for Abstractive Meeting Summarization with Cross-Domain Pretraining

Chenguang Zhu, Ruochen Xu외 2명|arXiv (Cornell University)|2020. 04. 04.

Topic Modeling참고 문헌 44인용 수 8

한 줄 요약

이 논문은 데이터 부족과 장문의 시퀀스 문제를 해결하기 위해 화자 역할 벡터와 뉴스 요약 데이터셋을 활용한 교차 도메인 미세조정을 통합한 계층적 트랜스포머 기반 모델인 HMNet을 제안한다. 모델은 ICSI 데이터셋에서 ROUGE-1 점수를 34.66%에서 46.28%로 11.62个百分点 향상시켜 최신 기준 성능을 달성한다.

ABSTRACT

With the abundance of automatic meeting transcripts, meeting summarization is of great interest to both participants and other parties. Traditional methods of summarizing meetings depend on complex multi-step pipelines that make joint optimization intractable. Meanwhile, there are a handful of deep neural models for text summarization and dialogue systems. However, the semantic structure and styles of meeting transcripts are quite different from articles and conversations. In this paper, we propose a novel abstractive summary network that adapts to the meeting scenario. We design a hierarchical structure to accommodate long meeting transcripts and a role vector to depict the difference among speakers. Furthermore, due to the inadequacy of meeting summary data, we pretrain the model on large-scale news summary data. Empirical results show that our model outperforms previous approaches in both automatic metrics and human evaluation. For example, on ICSI dataset, the ROUGE-1 score increases from 34.66% to 46.28%.

연구 동기 및 목표

• 기존 파ip라인 방법으로는 요약하기 어려운 장문의 다중 화자 회의 녹취록에서 고품질의 개괄적 요약을 생성하는 데 도전한다.
• 회의 요약 데이터의 부족 문제를 해결하기 위해 뉴스 요약 데이터셋에서 대규모 사전학습을 활용한다.
• 화자 역할 정보를 통합하여 회의에서의 독특한 의미 스타일과 시각을 포착함으로써 모델의 일반화 능력과 성능을 향상시킨다.
• 장문의 녹취록에서 문장 수준와 회의 수준의 의미를 효과적으로 모델링할 수 있는 계층적 아키텍처를 설계한다.
• 요약 구성 요소를 통합 최적화할 수 있는 엔드 투 엔드 학습 가능한 프레임워크를 개발하여 다단계, 비가역적 파이프라인의 한계를 극복한다.

제안 방법

• 개별 회화 문장 내의 토큰 수준 이해와 전체 회의에 걸친 전환 수준 이해를 위한 이중 수준의 계층적 트랜스포머 인코더-디코더 아키텍처를 사용한다.
• 화자 역할 벡터—각 화자별로 학습된 임bedding—를 인코딩 단계에 통합하여 참가자들의 독특한 시각과 의미 스타일(예: 프로그램 매니저 vs. 디자이너)을 모델링한다.
• 회의 요약 데이터의 부족 문제를 완화하기 위해 대규모 뉴스 요약 데이터셋(예: CNN/Daily Mail)에서 사전학습을 수행한 후, 회의 데이터셋에서 미세조정을 수행한다.
• 디코더 내부에 포인터-제너레이터 네트워크를 사용하여 단어 복사와 생성의 균형을 맞추어 OOV(Out-of-Vocabulary) 문제를 줄이고 사실 일致성을 향상시킨다.
• 디코더에서 토큰 수준과 전환 수준에서 다중 헤드 자기주의를 적용하여 요약 생성 중 다양한 해상도의 관련 콘텐츠에 주의를 기울일 수 있도록 한다.
• 표준 시퀀스 투 시퀀스 목표를 사용해 엔드 투 엔드로 모델을 최적화하여 인코딩, 주의 메커니즘, 디코딩 구성 요소의 통합 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 복잡한 다회전 대화를 포함한 장문의 회의 녹취록을 효과적으로 모델링하면서도 계산적 타당성을 유지할 수 있는 계층적 트랜스포머 아키텍처는 얼마나 효과적인가?
• RQ2 화자 역할 벡터를 통합할 경우 모델이 화자별로 다른 시각을 포착하고 요약 품질을 향상시키는 데 얼마나 기여하는가?
• RQ3 뉴스 요약 데이터셋에서의 교차 도메인 사전학습은 자원이 적은 회의 요약 작업의 성능 향상에 얼마나 효과적인가?
• RQ4 제안된 엔드 투 엔드 프레임워크는 자동 평가 지표와 인간 평가 모두에서 기존의 다단계 파이프라인 기반 방법을 뛰어넘는가?
• RQ5 계층적 아키텍처, 역할 벡터, 사전학습 각 구성 요소가 전체 성능 향상에 기여하는 정도는 어떠한가?

주요 결과

• HMNet는 ICSI 데이터셋에서 ROUGE-1 점수 46.28%를 기록하여 이전 최신 기준인 34.66%보다 뚜렷한 향상을 이룬다.
• 모델은 새로운 n-그램 비율이 높은 요약을 생성하여, 예를 들어 2-그램의 43.2%와 3-그램의 22.1%가 신규 생성된 것으로 나타나 강력한 개괄적 생성 능력을 보인다.
• 인간 평가 결과, 기준 모델 대비 HMNet가 더 유창하고 정보량이 많으며 잘 구성된 요약을 생성함을 확인할 수 있다.
• 제거 실험 결과, 계층적 아키텍처, 역할 벡터, 교차 도메인 사전학습 각각이 성능 향상에 기여하는 것으로 나타났다.
• 모델은 녹취록에서 정확한 단어 복사를 줄이며, 4-그램 중 12.4%만이 그대로 복사되어 강력한 개괄적 생성 능력을 보였다.
• 장문의 컨텍스트 처리 과제에도 불구하고, HMNet는 핵심 결정사항, 주요 주제, 화자 기여도를 효과적으로 포착하여 과도하게 요약하거나 중요한 세부 정보를 누락하지 않는다.