[논문 리뷰] Unsupervised Abstractive Meeting Summarization with Multi-Sentence Compression and Budgeted Submodular Maximization

Guokan Shang, Wensi Ding외 5명|arXiv (Cornell University)|2018. 05. 14.

Topic Modeling참고 문헌 15인용 수 16

한 줄 요약

이 논문은 음성 인식(ASR) 전사 결과의 노이즈가 심한 데이터로부터 유창하고 정보량이 풍부한 요약문을 생성하기 위해 다문장 압축과 예산이 부여된 서브모듈러 최적화를 조합한 완전히 비지도 학습 추상적 회의 요약 프레임워크를 제안한다. 그래프의 열악성 기반 단어 중요도 평가 및 새로운 경로 재순서 전략을 활용하여, 어떤 애너테이션된 학습 데이터나 언어 특화 튜닝 없이도 AMI 및 ICSI 데이터셋에서 최신 기술 수준의 ROUGE 점수를 달성한다.

ABSTRACT

We introduce a novel graph-based framework for abstractive meeting speech summarization that is fully unsupervised and does not rely on any annotations. Our work combines the strengths of multiple recent approaches while addressing their weaknesses. Moreover, we leverage recent advances in word embeddings and graph degeneracy applied to NLP to take exterior semantic knowledge into account, and to design custom diversity and informativeness measures. Experiments on the AMI and ICSI corpus show that our system improves on the state-of-the-art. Code and data are publicly available, and our system can be interactively tested.

연구 동기 및 목표

• 애너테이션된 학습 데이터나 언어 특화 자원에 의존하지 않는, 회의 음성에 대한 완전히 비지도 학습 추상적 요약 프레임워크를 개발하는 것.
• 노이즈가 많고 문법적으로 잘못된 ASR 전사 결과의 과제를 해결하기 위해, 그래프 기반의 중복 모델링을 통합하여 요약 파이프라인의 내성적 저항성을 확보하는 것.
• 그래프의 열악성 측정치와 언어 모델 제약 조건을 조합하여 생성된 요약문의 정보량과 문법성 향상을 도모하는 것.
• 기본적인 자연어 처리 도구를 초과한 언어 특화 구성 요소에 대한 의존도를 최소화하여 다국어 적용 가능성을 확보하는 것.

제안 방법

• 회의 대화 문장을 기반으로 슬라이딩 윈도우를 사용하여 단어 공존 그래프를 구축하여 의미 관계를 모델링한다.
• 영향력 있는 단어를 식별하기 위해 그래프의 열악성(핵심 수치)을 적용하여, 노이즈에 더 강건하고 키워드 탐지 성능이 뛰어난 PageRank의 대체 수 Mittel로 활용한다.
• 기존의 다문장 압축 그래프(MSCG)에 핵심 수치 점수와 언어 모델 확률을 조합한 고유한 경로 재순서 함수를 도입하여 문법적이고 정보량이 풍부한 경로를 선호한다.
• 주제 기반으로 대화 문장을 그룹화하기 위해 커뮤니티 탐지 기법을 활용하여, 각 커뮤니티별로 추상적 문장을 생성한다.
• 길이 제약 조건 하에 최적의 추상적 문장 집합을 선택하기 위해 예산이 부여된 서브모듈러 최적화를 적용하여 다양성과 정보량을 최적화한다.
• 경로의 유창성 수준을 평가하기 위해 언어 모델을 활용하고, 품사 태거를 사용해 비내용어를 걸러내어 요약 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 애너테이션된 학습 데이터가 전혀 없는 완전히 비지도 프레임워크가 추상적 회의 요약에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 그래프의 열악성 기반 단어 중요도 측정치는 전통적인 PageRank에 비해 요약에 정보량이 많은 콘텐츠를 식별하는 데 어떻게 향상되는가?
• RQ3 예산이 부여된 서브모듈러 선택과 함께 다문장 압축을 적용할 경우, 노이즈가 많고 파편화된 ASR 전사 결과로부터 얼마나 자연스럽고 다양한 추상적 요약문을 생성할 수 있는가?
• RQ4 언어 모델 점수와 핵심 수치 기반 재순서 전략의 통합은 요약의 유창성과 정보량에 어떤 영향을 미치는가?

주요 결과

• 제안된 시스템은 350단어 요약 기준으로 AMI 데이터셋에서 ROUGE-1 F1 점수 41.14, ICSI 데이터셋에서 36.05를 기록하여, Oracle 시스템까지 포함한 모든 베이스라인을 초월한다.
• ICSI 데이터셋에서 시스템은 모든 비-Oracle 시스템 중에서 가장 높은 ROUGE-1 F1(36.05)과 ROUGE-SU4(4.82) 점수를 기록하여 더 도전적인 다요약 매칭 기준에서 강력한 성능을 입증한다.
• FluCovRank 재순서 전략을 적용한 시스템은 베이스라인 대비 ROUGE-2 F1 점수를 0.59 포인트 향상시켜, 유창성 모델링이 요약 품질 향상에 기여한다는 것을 확인한다.
• 다양한 요약 길이에 걸쳐 일관된 성능을 유지하여, 특정 길이에 최적화된 하이퍼파rameter에 비해 예산 하이퍼파라미터에 대해 강건함을 입증한다.
• Oracle 시스템이 추출적 인간 요약에 액세스할 수 있는 것과 비교해도 경쟁적인 성능을 기록함으로써, 추상적 콘텐츠를 효과적으로 포착할 수 있음을 보여준다.