[논문 리뷰] Abstractive Summarization of Spoken and Written Instructions with BERT

Alexandra Savelieva, Bryan Au-Yeung외 1명|arXiv (Cornell University)|2020. 08. 21.

Topic Modeling참고 문헌 23인용 수 25

한 줄 요약

이 논문은 전이 학습과 사전 처리를 통해 ASR가 생성한 원문을 보정함으로써 구어체 및 문어체 지침 영상에 대한 개선된 BERTSum 모델을 제안한다. 모델은 요약의 인간 수준의 유창성과 유용성을 달성했으며, WikiHow에서 최신 기술 수준(SOTA)을 초월했고, CNN/DailyMail에서 성능 저하 없이 다양한 도메인으로의 일반화 능력이 뛰어나다.

ABSTRACT

Summarization of speech is a difficult problem due to the spontaneity of the flow, disfluencies, and other issues that are not usually encountered in written texts. Our work presents the first application of the BERTSum model to conversational language. We generate abstractive summaries of narrated instructional videos across a wide variety of topics, from gardening and cooking to software configuration and sports. In order to enrich the vocabulary, we use transfer learning and pretrain the model on a few large cross-domain datasets in both written and spoken English. We also do preprocessing of transcripts to restore sentence segmentation and punctuation in the output of an ASR system. The results are evaluated with ROUGE and Content-F1 scoring for the How2 and WikiHow datasets. We engage human judges to score a set of summaries randomly selected from a dataset curated from HowTo100M and YouTube. Based on blind evaluation, we achieve a level of textual fluency and utility close to that of summaries written by human content creators. The model beats current SOTA when applied to WikiHow articles that vary widely in style and topic, while showing no performance regression on the canonical CNN/DailyMail dataset. Due to the high generalizability of the model across different styles and domains, it has great potential to improve accessibility and discoverability of internet content. We envision this integrated as a feature in intelligent virtual assistants, enabling them to summarize both written and spoken instructional content upon request.

연구 동기 및 목표

• ASR 원문에서 유래한 구어체 및 문어체 지침 콘텐츠를 위한 일반화된 개괄 요약 모델을 개발하기 위해.
• ASR 출력에서 발생하는 불순화, 잡음어, 문장 부호 오류 등 대화체 언어 요약의 과제를 해결하기 위해.
• 요리, 정원 가꾸기, 소프트웨어 설정, 스포츠 등 다양한 도메인으로의 모델 일반화 능력을 향상시키기 위해.
• 자동 평가 지표(ROUGE, Content-F1)와 인간 평가를 통해 유창성과 유용성에 따라 모델 성능을 평가하기 위해.
• 자동 평가 지표를 보완하기 위해 편향 없고 눈먼 인간 평가 프레임워크를 구축하기 위해.

제안 방법

• 전이 학습을 통해 구어체 및 문어체 지침 데이터셋의 조합에 대해 BERTSum 개괄 요약 모델을 미세 조정하였다.
• spaCy를 활용한 사전 처리를 통해 ASR가 생성한 원문에서 문장 분할과 문장 부호를 복원하였다.
• HowTo100M 및 YouTube 컨설테이션 데이터를 기반으로 학습하였으며, 수작업 보정된 원문을 포함하여 어휘와 통일성을 향상시켰다.
• 자동 평가에 ROUGE, BLEU, Content-F1를 사용하였고, 30명 이상의 참가자들이 참여한 눈먼 인간 평가를 통해 유창성과 현실감을 평가하였다.
• 모델가 생성한 요약과 인간이 보정한 YouTube 영상 설명을 구별하는 투르링 테스트 유사 분류 과제를 설계하였다.
• 이중 평가 프레임워크를 구현하였으며, 하나는 AI 요약과 인간 요약을 구별하기 위한 것이고, 다른 하나는 대화체 품질과 통일성에 대한 평가를 위한 것이다.

실험 결과

연구 질문

• RQ1 BERT 기반의 개괄 요약 모델은 인간이 작성한 설명 수준의 유창성과 유용성을 갖춘 구어체 지침 콘텐츠 요약을 생성할 수 있는가?
• RQ2 ASR 원문의 사전 처리가 개괄 요약의 통일성과 문법성 측면에서 요약 품질에 어떤 영향을 미치는가?
• RQ3 다양한 도메인의 구어체 및 문어체 데이터에 대한 전이 학습이 다양한 지침 주제로의 일반화 능력을 얼마나 향상시키는가?
• RQ4 ROUGE 및 Content-F1와 같은 자동 평가 지표는 대화체 맥락에서 요약 품질에 대한 인간 평가와 얼마나 상관이 있는가?
• RQ5 눈먼 인간 평가 프레임워크는 실제 환경에서 AI가 생성한 요약과 인간이 보정한 요약을 효과적으로 구별할 수 있는가?

주요 결과

• 눈먼 인간 평가를 통해 모델가 생성한 요약이 인간 콘텐츠 제작자 수준의 텍스트 유창성과 유용성을 확보했음을 확인하였다.
• 인간 평가자들이 모델가 생성한 요약과 인간이 보정한 YouTube 영상 설명을 신뢰성 있게 구별하지 못했으며, 투르링 테스트에서 완벽한 점수를 기록하지 못해 높은 현실감을 보였다.
• WikiHow 데이터셋에서 현재 최신 기술 수준(SOTA)을 초월했으며, 스타일과 주제가 다양하게 분포된 이 데이터셋에서도 성능을 유지했다. 또한, 표준 CNN/DailyMail 데이터셋에서도 성능 저하 없이 유지되었다.
• 문장 부호와 문장 경계를 복원하기 위한 사전 처리가 요약 품질을 크게 향상시켰으며, ASR 오류가 존재하더라도 통일성 저하를 줄였다.
• 모델는 비공식적인 구어체 언어와 공식적인 문어체 지침 모두에 대해 강력한 일반화 능력을 보였다.
• 인간 평가 결과, 모델의 주요 과제는 문법적으로는 맞지만 통일성이 떨어지는 문장을 생성하는 것이었으며, 이는 개괄 요약 모델의 알려진 한계이다.