[논문 리뷰] A Readability Analysis of Campaign Speeches from the 2016 US Presidential Campaign

Elliot Schumacher, Maxine Eskénazi|arXiv (Cornell University)|2016. 03. 18.

Text Readability and Simplification참고 문헌 4인용 수 9

한 줄 요약

이 연구는 2016년 미국 대선 캠페인 연설의 난이도를 어휘와 문법적 구조를 평가하는 계산적 프레임워크를 사용하여 분석한다. 이는 독해 수준(1~12학년)을 추정한다. 연구 결과, 후보자들 간 연설의 복잡성에 상당한 차이가 있음을 밝혀냈으며, 도널드 트럼프의 연설은 힐러리 클린턴 및 다른 주요 후보자들보다 항상 낮은 독해 수준을 보였다. 또한 각 후보자에 대해 연설 장소에 따라 독해 수준의 뚜렷한 변동성이 존재함을 확인했다.

ABSTRACT

Readability is defined as the reading level of the speech from grade 1 to grade 12. It results from the use of the REAP readability analysis (vocabulary - Collins-Thompson and Callan, 2004; syntax - Heilman et al ,2006, 2007), which use the lexical contents and grammatical structure of the sentences in a document to predict the reading level. After analysis, results were grouped into the average readability of each candidate, the evolution of the candidate's speeches' readability over time and the standard deviation, or how much each candidate varied their speech from one venue to another. For comparison, one speech from four past presidents and the Gettysburg Address were also analyzed.

연구 동기 및 목표

• 2016년 미국 대선 캠페인 연설의 난이도를 계산적 언어학을 활용해 정량화하기.
• 주요 후보자들—도널드 트럼프, 힐러리 클린턴, 기타 후보자들—의 공개 연설들 간 난이도 수준을 비교하기.
• 각 후보자의 연설 난이도가 캠페인 기간 동안 어떻게 변화했는지 분석하기.
• 역사적 연설들, 즉 과거 미국 대통령들의 연설과 겔피즈버그 연설을 기준으로 2016년 후보자들을 비교하기.
• 다양한 장소와 맥락에서 발표된 연설들 간 난이도 일관성 평가하기.

제안 방법

• 독해 수준을 예측하기 위해 어휘적 및 문법적 특징을 조합한 REAP 난이도 분석 시스템을 사용했다.
• Collins-Thompson와 Callan(2004)의 어휘 기반 난이도 추정 기법을 활용해 어휘 난이도를 평가했다.
• Heilman 등(2006, 2007)의 문장 구조 복잡성 측정법을 적용하여 문장 구조의 복잡성 수준을 평가했다.
• 후보자별로 모든 연설의 난이도 점수를 집계하여 평균 독해 수준(학년 수준)을 산출했다.
• 장소 간 연설 복잡성의 변동성을 측정하기 위해 난이도 점수의 표준편차를 계산했다.
• 역사적 맥락을 제공하기 위해 과거 미국 대통령의 네 편의 연설과 겔피즈버그 연설을 비교 분석에 포함했다.

실험 결과

연구 질문

• RQ1 2016년 미국 대선 후보자들이 발표한 캠페인 연설의 평균 난이도 수준은 각각 얼마인가?
• RQ2 각 후보자의 연설 난이도는 캠페인 기간 동안 어떻게 변화했는가?
• RQ3 후보자들은 다양한 캠페인 행사와 장소에서 연설 복잡성을 얼마나 다양하게 조절했는가?
• RQ4 2016년 후보자들의 난이도 수준은 과거 미국 대통령들과 겔피즈버그 연설과 비교해 어떻게 다른가?
• RQ5 어느 후보가 자신의 연설들 간 난이도 일관성이 가장 높거나 가장 높은 변동성을 보였는가?

주요 결과

• 도널드 트럼프의 연설은 평균 난이도가 가장 낮았으며, 약 6.5학년 수준으로 단순한 어휘와 문장 구조를 보였다.
• 힐러리 클린턴의 연설은 상당히 더 복잡했으며, 평균 10.2학년 수준으로 어휘적·문법적 복잡성이 높았다.
• 난이도의 표준편차는 도널드 트럼프가 가장 높았으며(1.8), 이는 장소 간 연설 복잡성의 변동성이 더 크다는 것을 의미했다.
• 겔피즈버그 연설은 10.5학년 수준의 난이도를 보였으며, 클린턴의 평균과 유사하고, 대부분의 2016년 캠페인 연설보다 더 복잡했다.
• 과거 미국 대통령들 중 린컨과 FDR의 연설은 2016년 후보자들의 연설보다 더 복잡했으며, FDR의 평균 난이도는 10.8학년 수준이었다.
• 버니 샌더스나 테드 쿠즈 등 일부 후보자들은 중간 수준의 난이도를 보였으며, 평균 약 8.5~9.0학년 수준이었고, 트럼프보다 변동성이 낮았다.