[논문 리뷰] Subjective Assessment of Text Complexity: A Dataset for German Language

Babak Naderi, Salar Mohtaj외 2명|arXiv (Cornell University)|2019. 04. 16.

Text Readability and Simplification참고 문헌 6인용 수 9

한 줄 요약

이 논문은 위키백과와 라이트 스프라체(Lebesche Sprache)에서 추출한 1,000개 문장의 독일어 텍스트 복잡도 데이터셋인 TextComplexityDE를 소개한다. 이 데이터셋은 A1–B2 수준의 독일어 학습자들이 크라우드소싱 및 실험실 연구를 통해 주관적 평가를 통해 복잡도, 이해 가능성, 어휘 난이도를 평가한 자료를 포함하며, 250개 문장에 대해 모국어 사용자가 수동으로 단순화한 결과도 포함되어 있어 독일어 텍스트 복잡도 모델 개발 및 자동 단순화 시스템 개발에 기여한다.

ABSTRACT

This paper presents TextComplexityDE, a dataset consisting of 1000 sentences in German language taken from 23 Wikipedia articles in 3 different article-genres to be used for developing text-complexity predictor models and automatic text simplification in German language. The dataset includes subjective assessment of different text-complexity aspects provided by German learners in level A and B. In addition, it contains manual simplification of 250 of those sentences provided by native speakers and subjective assessment of the simplified sentences by participants from the target group. The subjective ratings were collected using both laboratory studies and crowdsourcing approach.

연구 동기 및 목표

• 자동 텍스트 단순화 및 독해 가능성 모델링을 지원하기 위해 고품질의 문장 수준의 독일어 텍스트 복잡도 평가용 데이터셋을 개발하기 위해.
• 검증된 방법을 사용하여 독일어 학습자(A1–B2 수준)로부터 복잡도, 이해 가능성, 어휘 난이도에 대한 주관적 평가를 수집하기 위해.
• 모국어 사용자가 250개의 복잡한 문장을 수동으로 단순화한 결과를 제공하여 자동 텍스트 단순화 모델의 골드 표준 참조로 활용하기 위해.
• Flesch Reading Ease와 같은 정량적 독해 가능성 공식과 비교하여 주관적 평가의 신뢰성과 타당성을 평가하기 위해.
• 향후 연구에서 실제 이해도(예: 내용 질문을 통한 평가) 또는 생리적 측정치(예: 눈동자 추적)와의 비교를 가능하게 하기 위해.

제안 방법

• 역사, 사회, 과학 분야의 23개 위키백과 기사에서 1,019개 문장을 수집하였으며, 골드 표준으로서 100개 문장은 라이트 스프라체 데이터셋에서 확보하였다.
• 복잡도, 이해 가능성, 어휘 난이도에 대해 7단계 절대 범주 평가 척도를 설계하였으며, 사전 연구 및 전문가 검토를 통해 검증하였다.
• 주관적 평가를 세 가지 채널을 통해 수행: 유료 크라우드소싱(16%), 87개의 페이스북 그룹을 통한 자원자 모집(21%), 33명의 학습자를 대상으로 한 제어된 실험실 세션(유효 평가의 63%).
• 통계적 방법을 사용해 문장당 5~18개의 유효 평가를 선별하였으며, 평균 의견 점수(MOS), 표준편차, 95% 신뢰구간을 보고하였다.
• 265개의 매우 복잡한 문장(복잡도에 대해 MOS > 4.0, 이해 가능성에 대해 MOS > 3.5)을 선별하여 75명의 모국어 사용자가 수동으로 단순화하였다.
• 주관적 평가와 비교하기 위해 기사 수준 및 문장 수준에서 Flesch Reading Ease (FRE) 점수를 계산하여 공식의 한계를 평가하였다.

실험 결과

연구 질문

• RQ1 독일어 학습자들 사이에서 텍스트 복잡도, 이해 가능성, 어휘 난이도에 대한 주관적 평가 간 상관관계는 어떻게 되는가?
• RQ2 Flesch Reading Ease와 같은 정량적 독해 가능성 공식이 문장 수준에서 주관적 평가와 어느 정도 상관관계를 가지는가?
• RQ3 언어 학습자로부터의 주관적 평가는 텍스트 난이도의 객관적 측정치와 비교해 얼마나 신뢰성 있고 타당한가?
• RQ4 모국어 사용자가 수동으로 단순화한 문장들이 독일어 자동 텍스트 단순화 모델 훈련에 효과적인 기준이 될 수 있는가?
• RQ5 기존의 독해 가능성 공식은 학습자가 인지하는 문장 수준의 복잡도를 얼마나 잘 반영하는가?

주요 결과

• 위키백과 문장의 복잡도에 대한 평균 의견 점수(MOS)는 3.22였고, 라이트 스프라체 문장은 1.20이었으며, 이는 일반 텍스트와 단순화된 텍스트 간 강력한 구분을 의미한다.
• 각 차원 간 강한 상관관계 발견: 복잡도와 이해 가능성 간 상관계수(r = .896), 복잡도와 어휘 난이도 간 상관계수(r = .905), 이해 가능성과 어휘 난이도 간 상관계수(r = .935).
• Flesch Reading Ease (FRE) 점수는 문장 수준에서 주관적 복잡도와 중간 정도의 상관관계를 보였음(r = .55, p < .001), 그러나 정규화된 경우 큰 절편을 보이며, 인지된 난이도와의 일치도가 떨어짐.
• FRE 공식은 문장 수준에서 성능이 떨어졌으며, 특히 고복잡도 범위에서 두드러지게 약한 성능을 보였고, 이는 이 공식이 문장 수준 평가에 신뢰할 수 없다는 이전 연구 결과를 확인함.
• 가장 복잡한 것으로 평가된 문장들은 주제적으로나 문법적으로 복잡하거나 복잡한 어순을 가진 경우가 많았으며, 심지어 모국어 사용자에게도 어려움을 느끼게 했기 때문에, 문장의 구조적·의미적 요소가 인지된 난이도에 크게 기여함을 시사함.
• 265개의 복잡한 문장 중 250개는 최소한 한 번의 단순화가 이루어졌고, 90개는 단순화가 불가능한 것으로 판단되어 특정 문법적 또는 의미적 요소가 단순화에 어려움을 주는 것으로 나타남.