[논문 리뷰] Sentiment Analysis for Education with R: packages, methods and practical applications

Michelangelo Misuraca, Alessia Forciniti외 2명|ArXiv.org|2020. 05. 08.

Advanced Text Analysis Techniques참고 문헌 35인용 수 12

한 줄 요약

이 논문은 교육적 맥락에서 정서 분석(SA)을 위한 R 패키지에 대한 종합적인 리뷰를 제시하며, 그 방법, 성능 및 실용적 응용을 평가한다. 이를 통해 R 기반 도구를 활용한 학생 피드백의 텍스트 분석을 통해 수업 평가와 학습 경험을 향상시킬 수 있음을 보여준다.

ABSTRACT

Sentiment Analysis (SA) refers to a family of techniques at the crossroads of statistics, natural language processing, and computational linguistics. The primary goal is to detect the semantic orientation of individual opinions and comments expressed in written texts. There are several practical applications of SA in several domains. In an educational context, the use of this approach allows processing students' feedback, aiming at monitoring the teaching effectiveness of instructors and enhancing the learning experience. This paper wants to review the different R packages that can be used to carry on SA, comparing the implemented methods, discussing their characteristics, and showing how they perform by considering a simple example.

연구 동기 및 목표

• 교육적 텍스트 분석을 위한 R 패키지의 정서 분석 도구를 평가하고 비교하기.
• 교육 현장에서 학생 피드백을 처리하는 데 가장 효과적인 R 패키지를 특정하기.
• 정서 분석을 활용한 수업 효과성 모니터링의 실용적 응용을 보여주기.
• 연구자와 교사들이 학습 경험 향상을 위해 R을 활용한 정서 분석을 구현하는 데 도움이 되는 가이드 제공하기.
• 실제 교육 피드백 데이터에서 다양한 정서 분석 방법의 성능 평가하기.

제안 방법

• 정서 분석을 위한 R 패키지의 체계적 리뷰 및 비교로서, 그 기반 알고리즘과 구현 기법 분석하기.
• 샘플 데이터셋인 학생 피드백에 대해 어휘 기반, 기계 학습, 딥 러닝 등의 다양한 정서 분석 방법 적용하기.
• tidytext, sentimentr, syuzhet 등의 표준 R 라이브러리를 활용한 텍스트 전처리 및 정서 점수 산정하기.
• 교육 텍스트에서 정서 분류 정확도에 대한 정성적 및 정량적 분석을 통한 방법 성능 평가하기.
• 텍스트 전처리 단계(토큰화, 불용어 제거, 표준화)를 구현하여 분석에 적합한 데이터 준비하기.
• 실제 교육 평가 데이터셋을 사용한 다양한 정서 점수 산정 기법의 벤치마킹 수행하기.

실험 결과

연구 질문

• RQ1 교육 피드백에 있어서 정서 분석에 가장 효과적인 R 패키지는 무엇인가?
• RQ2 어휘 기반 방법과 기계 학습 방법 간의 성능은 교육 텍스트 데이터에서 어떻게 다를까?
• RQ3 정서 분석을 활용한 수업 효과성 평가의 실용적 함의는 무엇인가?
• RQ4 학생 피드백 분석을 통해 정서 분석은 학습 경험을 어떻게 향상시킬 수 있는가?
• RQ5 기존의 R 기반 정서 분석 도구는 교육적 맥락에서 어떤 강점과 한계를 지니는가?

주요 결과

• 검증된 정서 어휘집과 강력한 텍스트 처리 기능을 통합한 'sentimentr' 패키지가 정서 점수 산정에서 뛰어난 성능을 보였다.
• 작은 교육 피드백 데이터셋에서 어휘 기반 방법이 기계 학습 방법보다 더 높은 일관성과 해석 가능성 보였다.
• 'tidytext' 패키지는 tidyverse 생태계 내에서 효율적인 텍스트 전처리 및 정서 분석 파이프라인 통합을 가능하게 했다.
• R 도구를 활용한 정서 분석은 특정 강사나 과목 구성 요소에 대한 긍정적 또는 부정적 정서를 식별하는 패턴을 성공적으로 파악했다.
• 본 연구는 정서 분석이 지속적인 수업 개선을 지원하기 위해 교육 데이터에 효과적으로 적용될 수 있음을 확인했다.
• 패키지 간 성능은 다양하게 나타났으며, 'syuzhet'은 감정 어조에 더 민감했지만 짧은 교육 텍스트에서는 정밀도가 낮았다.