[논문 리뷰] Klexikon: A German Dataset for Joint Summarization and Simplification

Dennis Aumiller, Michael Gertz|arXiv (Cornell University)|2022. 01. 18.

Text Readability and Simplification인용 수 8

한 줄 요약

이 논문은 독자용 백과사전 Klexikon과 독일어 위키백과 간 약 2,900개의 문서 수준 정렬 쌍을 포함하는 새로운 독일어 데이터셋인 Klexikon을 소개한다. 이는 동시에 압축과 단순화를 수행하는 모델의 엔드 투 엔드 훈련을 가능하게 하며, 정량적 증거를 통해 요약 및 단순화 작업 모두에 효과적으로 기여함을 보여준다.

ABSTRACT

Traditionally, Text Simplification is treated as a monolingual translation task where sentences between source texts and their simplified counterparts are aligned for training. However, especially for longer input documents, summarizing the text (or dropping less relevant content altogether) plays an important role in the simplification process, which is currently not reflected in existing datasets. Simultaneously, resources for non-English languages are scarce in general and prohibitive for training new solutions. To tackle this problem, we pose core requirements for a system that can jointly summarize and simplify long source documents. We further describe the creation of a new dataset for joint Text Simplification and Summarization based on German Wikipedia and the German children's lexicon "Klexikon", consisting of almost 2900 documents. We release a document-aligned version that particularly highlights the summarization aspect, and provide statistical evidence that this resource is well suited to simplification as well. Code and data are available on Github: https://github.com/dennlinger/klexikon

연구 동기 및 목표

• 독일어에서 공동 텍스트 요약 및 단순화를 위한 대규모 문서 정렬 데이터셋이 부족한 문제를 해결하기 위해.
• 장문의 문서에서 요약과 단순화가 동시에 발생하는 실제 단순화 과정을 반영하는 자원을 만들기 위해.
• 장문의 텍스트를 동시에 단순화하고 요약하는 엔드 투 엔드 모델을 훈련하고 평가하기 위한 벤치마크를 제공하기 위해.
• 원어가 아닌 언어의 저자원 NLP 연구를 지원하기 위해, 정렬된 원본 및 단순화된 문서를 포함한 고품질의 비영어 데이터셋을 제공하기 위해.
• ROUGE 및 읽기 어려움 점수를 포함한 다중 평가 지표를 사용해 요약 및 단순화 품질을 평가할 수 있도록 하기 위해.

제안 방법

• 독일어 위키백과 기사와 어린이 백과사전 Klexikon의 해당 항목 간의 반자동 정렬을 통해 데이터셋을 구축하였다.
• 장문의 텍스트에서 요약이 단순화의 핵심 구성 요소임을 반영하기 위해 문서 수준의 정렬을 우선시하였다.
• 통계 분석 및 읽기 어려움 지표(Flesch, 문장 길이, 단어 길이, 어근 커버리지)를 사용해 대상 텍스트의 단순화 품질을 검증하였다.
• ROUGE 점수를 사용해 추출 기반 베이스라인(예: Lead-3, Luhn, LexRank)을 평가하여 요약 성능의 기준선을 확립하였다.
• 단순화 품질은 Flesch 독해 어려움 점수, 평균 문장 길이, 평균 단어 길이, 상위 1,000개 어근 커버리지 등을 사용해 평가하였다.
• 데이터셋은 요약을 강조한 문서 수준 정렬 버전으로 함께 배포되었으며, 코드 및 데이터는 GitHub에서 공개 가능하다.

실험 결과

연구 질문

• RQ1 Klexikon 데이터셋은 장문의 독일어 텍스트를 동시에 요약하고 단순화하는 데 얼마나 효과적인가?
• RQ2 원본 텍스트에서 단순화 텍스트로의 문장 수 감소가 심한 만큼, 이 데이터셋은 요약에 얼마나 잘 기여하는가?
• RQ3 읽기 어려움 및 어휘 복잡도 지표를 기반으로 볼 때, Klexikon 데이터의 단순화 품질은 다른 코퍼스와 비교해 어떻게 되는가?
• RQ4 추출 기반 요약 방법은 이 데이터셋에서 뛰어난 성능을 내는가? 이는 기존 요약 벤치마크 대비 이 데이터셋의 난이도에 대해 어떤 시사점을 갖는가?
• RQ5 표준 평가 지표인 ROUGE가 어휘적 단순화를 얼마나 잘 포착하는가? 이는 모델 평가에 어떤 영향을 미치는가?

주요 결과

• Klexikon 데이터셋은 총 2,898개의 문서 정렬 쌍을 포함하며, 원본 기사의 평균 문장 수는 242개, 단순화된 버전의 평균 문장 수는 32.5개로, 상당한 요약이 이루어졌음을 시사한다.
• Klexikon의 단순화된 텍스트는 평균 Flesch 독해 어려움 점수 66.7을 기록하여 위키백과의 40.1보다 유의미하게 높아 읽기 쉬운 것으로 확인되었다.
• Klexikon의 평균 문장 길이는 13.5개 토큰으로 위키백과의 22.7개 토큰보다 짧고, 평균 단어 길이는 6.9자로 위키백과의 8.7자보다 짧아 어휘적 단순화가 이루어졌음을 나타낸다.
• Klexikon은 상위 1,000개의 어휘 기반 어근 커버리지 비율이 82.3%로, 위키백과의 68.8%보다 높아 높은 빈도어휘의 사용이 두드러진다.
• Lead-3 추출 기반 베이스라인은 ROUGE-1에서 F1 점수 24.87을 기록하여 전체 기사 기반 베이스라인을 크게 앞서지만, ROUGE-2 오라클 점수 41.85는 추상적 모델의 강력한 잠재력을 시사한다.
• 독일어의 어휘 및 문법적 복잡성에 비추어 볼 때, 요약과 단순화의 병행 요구가 있는 점을 감안하면, 이 데이터셋은 기존 요약 데이터셋보다 더 높은 난이도를 지닌다.