[논문 리뷰] Sentiment Analysis with R: Natural Language Processing for Semi-Automated Assessments of Qualitative Data

Dennis Klinkhammer|arXiv (Cornell University)|2022. 06. 25.

Computational and Text Analysis Methods인용 수 4

한 줄 요약

이 튜토리얼은 자연어 처리(NLP) 기법을 활용하여 R에서 반자동으로 감성 분석을 수행하는 실용적이고 재현 가능한 워크플로우를 제시한다. 연구자들이 소셜미디어 댓글, 정치 연설, 책과 같은 질적 텍스트 데이터의 감성 및 정서 상태를 감성 어휘집과 R 패키지인 tidytext, dplyr, ggplot2를 활용해 효율적으로 분류할 수 있도록 돕는다. 실제 결과는 감성 분석의 일관된 평가자 간 신뢰도와 시간에 따라 논의 내 감성의 변화를 감지하는 데 성공했다.

ABSTRACT

Sentiment analysis is a sub-discipline in the field of natural language processing and computational linguistics and can be used for automated or semi-automated analyses of text documents. One of the aims of these analyses is to recognize an expressed attitude as positive or negative as it can be contained in comments on social media platforms or political documents and speeches as well as fictional and nonfictional texts. Regarding analyses of comments on social media platforms, this is an extension of the previous tutorial on semi-automated screenings of social media network data. A longitudinal perspective regarding social media comments as well as cross-sectional perspectives regarding fictional and nonfictional texts, e.g. entire books and libraries, can lead to extensive text documents. Their analyses can be simplified and accelerated by using sentiment analysis with acceptable inter-rater reliability. Therefore, this tutorial introduces the basic functions for performing a sentiment analysis with R and explains how text documents can be analysed step by step - regardless of their underlying formatting. All prerequisites and steps are described in detail and associated codes are available on GitHub. A comparison of two political speeches illustrates a possible use case.

연구 동기 및 목표

• R를 사용하여 질적 텍스트 데이터의 감성 분석을 수행하기 위한 재현 가능하고 단계별 튜토리얼을 제공하는 것.
• 연구자들이 소셜미디어, 정치 연설, 책과 같은 다양한 텍스트 형식에 기본적이고 고급 감성 분석 기법을 적용할 수 있도록 돕는 것.
• 감성 분석이 질적 데이터 코딩의 효율성과 신뢰도를 향상시키며, 수용 가능한 평가자 간 신뢰도를 확보할 수 있음을 보여주는 것.
• GitHub를 통해 전체 R 코드와 패키지 종속성을 공개하여 방법론의 투명성을 높이는 것.
• 정치 논의 내 감성 및 정서 상태의 변화를 탐지하는 등 실질적인 응용 사례를 제시하는 것.

제안 방법

• 감성 분석의 주요 환경으로 R Markdown과 R 프로그래밍 언어를 사용한다.
• tidytext 패키지를 활용해 텍스트 데이터를 토큰화하고 분석에 적합한 단위로 처리한다.
• 특히 NRC 단어-정서 연관 어휘집을 활용해 단어를 감성 극성(긍정, 부정)과 여덟 가지 정서 상태(예: 공포, 분노, 신뢰, 기쁨)로 분류한다.
• dplyr을 사용해 감성 점수를 텍스트 세그먼트 기준으로 필터링, 그룹화, 요약하는 데이터 조작을 수행한다.
• ggplot2를 활용해 감성 추세를 시각화하여 감성 분포, 조건부 평균, 시간 또는 텍스트 섹션에 따른 점수 변화를 추적한다.
• 분석 전 일관된 사전 처리를 위해 PDF, HTML 등 비-TXT 형식의 텍스트를 TXT 형식으로 변환한다.

실험 결과

연구 질문

• RQ1 R를 활용한 감성 분석는 소셜미디어 댓글, 정치 연설과 같은 다양한 질적 텍스트 데이터에서 감성 및 정서 상태를 반자동으로 평가하는 데 어떻게 활용될 수 있는가?
• RQ2 수동 코딩과 비교할 때 반자동 감성 분석는 어느 정도 수준의 수용 가능한 평가자 간 신뢰도를 달성하는가?
• RQ3 정치 연설의 다양한 섹션에서 감성 및 정서 상태 분포는 어떻게 변화하며, 이러한 변화는 무엇을 시사하는가?
• RQ4 장문의 텍스트, 예를 들어 책이나 전체 도서관 자료에서는 감성 분석가 의미 있는 패턴을 탐지할 수 있으며, 이는 소셜미디어 게시물과 같은 단문형 콘텐츠와 비교해 어떻게 다를 수 있는가?
• RQ5 감성 분석는 디지털 논의 내 극단화, 정치적 감성, 공중보건 문제와 같은 사회적 문제를 식별하는 데 실질적인 유용성이 있는가?

주요 결과

• 반자동 감성 분석는 평가자 간 신뢰도가 최대 70%에 이르며, 이는 수동 코딩조차 연구자 간 약 20%의 이견이 있음에도 불구하고 수용 가능한 수준으로 간주된다.
• 두 정치 연설 간 비교 분석에서 긍정 및 부정 감성의 사용 비율이 유사하게 나타났지만, 공포와 분노가 두드러져 전반적으로 부정적인 감성 톤을 반영하고 있었다.
• 신뢰 정서가 공포와 분노와 같은 부정 정서를 상쇄하는 경향을 보여, 정치 논의 내 복잡한 정서적 지형을 시사했다.
• 정치 연설의 중심부에서 감성 점수가 약간 상승하는 경향을 보여, 어조나 청중 유도 전략의 전략적 변화 가능성을 시사했다.
• 이 방법은 감성 추세의 전환점과 안장점(극값)을 성공적으로 식별해 연구자들이 핵심 문장이나 문단을 깊이 있게 질적 검증할 수 있도록 했다.
• 이 워크플로우는 대규모 텍스트 코퍼스 분석을 크게 가속화하면서도 분석의 철학적 엄밀함을 유지하여 종단형 및 횡단형 텍스트 분석 모두에 적합하다.