[논문 리뷰] Liputan6: A Large-scale Indonesian Dataset for Text Summarization

Fajri Koto, Jey Han Lau외 1명|arXiv (Cornell University)|2020. 11. 02.

Topic Modeling참고 문헌 31인용 수 14

한 줄 요약

이 논문은 인도네시아어 뉴스 포털 Liputan6.com에서 10년간(2000년 10월–2010년 10월) 수확한 215,827개의 문서-요약 쌍을 포함하는 대규모 인도네시아어 텍스트 요약 데이터셋인 Liputan6를 소개한다. 저자들은 단일 언어 및 다국어 BERT를 사용하여 추출적 요약 및 생성적 요약의 벤치마크 모델을 개발하고, 저성능 ROUGE 점수의 원인이 모델의 실패보다는 ROUGE의 어휘 재구성 및 약어 사용에 대한 민감도 때문임을 밝혀내는 오류 분석을 수행하였다.

ABSTRACT

In this paper, we introduce a large-scale Indonesian summarization dataset. We harvest articles from Liputan6.com, an online news portal, and obtain 215,827 document-summary pairs. We leverage pre-trained language models to develop benchmark extractive and abstractive summarization methods over the dataset with multilingual and monolingual BERT-based models. We include a thorough error analysis by examining machine-generated summaries that have low ROUGE scores, and expose both issues with ROUGE it-self, as well as with extractive and abstractive summarization models.

연구 동기 및 목표

• 텍스트 요약을 위한 대규모 공개 인도네시아어 NLP 데이터셋의 부족 문제를 해결하기 위해.
• 인도네시아어에서 추출적 요약 및 생성적 요약 연구를 지원할 수 있는 벤치마크 데이터셋을 만들기 위해.
• 사전 훈련된 BERT 기반 모델이 인도네시아어 텍스트 요약에 얼마나 효과적인지 평가하기 위해.
• 요약 모델 및 ROUGE 평가 지표의 세부 오류 분석을 수행하기 위해.
• 표준 테스트 세트와 고도로 생성적인 요약을 포함한 두 가지 테스트 세트를 제공하여 모델 평가의 강건성을 높이기 위해.

제안 방법

• 2000년 10월에서 2010년 10월까지 10년간 인도네시아 뉴스 포털인 Liputan6.com에서 215,827개의 문서-요약 쌍을 수확하였다.
• HTML 엔티티 제거, 소문자 변환, 구두점 히우리스틱 기반 문장 분할을 통해 데이터 전처리를 수행하였다.
• 표준 테스트 세트와 더 높은 생성성 요약을 포함한 'Xtreme' 변형 테스트 세트를 구성하여 어려움을 높였다.
• 모델을 추출적 요약 및 생성적 요약 작업에 대해 단일 언어 및 다국어 BERT로 미세조정하였다.
• ROUGE 점수를 사용해 모델을 평가하고, 저성능 ROUGE 출력에 대해 정성적 오류 분석을 수행하였다.
• 저성능 ROUGE 점수의 주요 원인은 모델의 환각 현상이나 커버리지 부족이 아니라 어휘 재구성, 약어 사용, 형태소 변형 때문임을 확인하였다.

실험 결과

연구 질문

• RQ1 단일 언어 및 다국어 BERT 기반 모델은 인도네시아어 텍스트 요약의 추출적 및 생성적 요약 생성에 얼마나 효과적인가?
• RQ2 ROUGE 점수는 인도네시아어 요약 출력의 질을 얼마나 정확하게 반영하는가?
• RQ3 인도네시아어 요약에서 저성능 ROUGE 점수의 주요 원인은 무엇이며, 이는 모델의 실패 때문인가, 평가의 한계 때문인가?
• RQ4 요약의 생성성 특성은 시간이 지남에 따라 어떻게 변화하는가, 그리고 이는 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ5 대규모 공개 인도네시아어 요약 데이터셋은 저자원 NLP 분야의 최첨단 기술을 향상시킬 수 있는가?

주요 결과

• Liputan6 데이터셋은 215,827개의 문서-요약 쌍을 포함하고 있으며, 이는 이전까지 가장 큰 인도네시아어 데이터셋보다 약 10배 크며, 비영어 요약 데이터셋 중에서도 가장 큰 편에 속한다.
• 'Xtreme' 테스트 세트는 4-그램 기준으로 87.5%의 신규 n-그램을 포함하고 있어, 표준 세트(82.4%)보다 유의미하게 더 높은 생성성 요약을 포함하고 있음을 시사한다.
• ROUGE 점수는 어휘 재구성 및 약어 사용에 매우 민감한 것으로 밝혀졌으며, 어휘 변형으로 인해 일부 고품질 요약이 낮은 ROUGE 점수를 받는 경우가 있었다.
• 커버리지 및 초점 문제로 인한 저품질 요약이 주요 원인으로, BertExtAbs 모델의 요약 중 100%에서 커버리지 문제가 발생하였다.
• 환각 현상은 주요 문제로 나타나지 않았으며, 약 20%의 저품질 요약에서만 위작된 정보가 포함되어 있었다.
• 오류 분석 결과, 형태소가 풍부하고 약어 사용이 빈번한 인도네시아어의 특성으로 인해 ROUGE 평가가 문제를 일으키며, 사실적으로 정확한 요약이라도 ROUGE 점수가 낮아질 수 있음을 확인하였다.