[논문 리뷰] Quantifying literature quality using complexity criteria

Gerardo L. Febres, Klaus Jaffé|arXiv (Cornell University)|2014. 01. 28.

Text Readability and Simplification참고 문헌 13인용 수 6

한 줄 요약

이 논문은 영어 및 스페인어 텍스트에서 복잡성 지표로 엔트로피와 기호 다양성을 사용하여 문학적 품질을 정량화하는 계산 프레임워크를 제안한다. 노벨상 수상자 및 유명 작가들의 작품을 분석함으로써 높은 엔트로피와 단어 다양성은 인식된 글쓰기 품질과 유의미한 상관관계를 보이며, 언어학적 복잡성 기준을 활용한 자동 문학적 가치 평가가 가능하다는 것을 시사한다.

ABSTRACT

We measured entropy and symbolic diversity for English and Spanish texts including literature Nobel laureates and other famous authors. Entropy, symbol diversity and symbol frequency profiles were compared for these four groups. We also built a scale sensitive to the quality of writing and evaluated its relationship with the Flesch's readability index for English and the Szigriszt's perspicuity index for Spanish. Results suggest a correlation between entropy and word diversity with quality of writing. Text genre also influences the resulting entropy and diversity of the text. Results suggest the plausibility of automated quality assessment of texts.

연구 동기 및 목표

• 언어학적 복잡성 지표를 활용한 문학적 품질 평가를 위한 정량적 방법 개발.
• 예를 들어 노벨상 수상자와 같은 저자 명성에 따라 장르 및 저자별 엔트로피와 기호 다양성 비교.
• 기존 독해 용이성 지표인 Flesch 및 Szigriszt와의 언어학적 복잡성 간 관계 평가.
• 더 높은 언어학적 복잡성이 더 높은 인식된 글쓰기 품질과 관련이 있다는 가설 검증.
• 복잡성 기준에 민감한 문학적 품질 기반 척도 수립.

제안 방법

• 영어 및 스페인어 문학 텍스트 대규모 코퍼스에서 엔트로피와 기호 다양성 측정.
• 기호 빈도 프로파일 분석을 통해 텍스트 간 분포 복잡성 평가.
• 네 가지 저자 그룹(노벨상 수상자, 다른 유명 작가, 두 개의 대조군) 간 결과 비교.
• 엔트로피와 다양성 지표를 기반으로 품질 평가 척도 校정.
• 복잡성 기반 척도를 영어의 Flesch 독해 용이성 지표 및 스페인어의 Szigriszt 명료성 지표와 상관 분석.
• 관측된 복잡성과 인식된 품질 간 상관관계의 유의미성 평가를 위한 통계 분석 수행.

실험 결과

연구 질문

• RQ1 문학 텍스트에서 더 높은 엔트로피가 더 높은 인식된 글쓰기 품질과 관련이 있는가?
• RQ2 기호 다양성이 다양한 언어 및 장르에서 문학적 품질을 어느 정도 예측할 수 있는가?
• RQ3 기존의 독해 용이성 지표인 Flesch 및 Szigriszt는 엔트로피 및 다양성 측정치와 어떻게 관련이 있는가?
• RQ4 복잡성 기반 척도는 높은 품질의 문학적 텍스트를 다른 텍스트와 신뢰성 있게 구분할 수 있는가?
• RQ5 장르가 문학 작품에서 엔트로피 및 기호 다양성 값에 영향을 미치는가?

주요 결과

• 노벨상 수상자 저자들 사이에서 엔트로피와 인식된 글쓰기 품질 간 유의미한 양의 상관관계 발견.
• 기호 다양성이 문학적 품질과 강한 관련이 있음을 시사하며, 높은 품질의 텍스트에서 더 풍부한 어휘 다양성이 있음을 나타냄.
• 장르가 엔트로피 및 다양성에 유의미한 영향을 미치며, 문학 소설에서 비문학적 또는 신문 기사 텍스트보다 더 높은 복잡성 보임.
• 제안된 복잡성 기반 척도는 영어에서는 Flesch 독해 용이성 지표, 스페인어에서는 Szigriszt 명료성 지표와 강력한 일치를 보임.
• 엔트로피 및 다양성 측정치는 높은 품질의 문학적 작품과 낮은 품질 또는 덜 복잡한 텍스트를 효과적으로 구분함.
• 결과는 계산 언어학을 활용한 자동 복잡성 기반 문학적 품질 평가의 가능성에 대한 지원을 제공함.