[논문 리뷰] A literature survey on student feedback assessment tools and their usage in sentiment analysis

Himali Aryal|arXiv (Cornell University)|2021. 09. 09.

Online Learning and Analytics참고 문헌 59인용 수 4

한 줄 요약

이 논문은 온라인 교육에서 카후트!, 멘티미터, 패들릿과 같은 피드백 평가 도구를 조사하며, 정성적 피드백에서 학생의 태도를 추출하기 위한 감성 분석 프레임워크를 제안한다. 이 연구는 카후트!가 가장 널리 사용되는 도구임을 밝혀내며, 도구 전용 피드백의 감성 분석에 대한 연구 격차를 지적하고, 데이터 수집, 사전 처리, 특징 추출, 분류기 학습을 포함하는 파이프라인을 제안한다. 감성 분류를 위한 것이다.

ABSTRACT

Online learning is becoming increasingly popular, whether for convenience, to accommodate work hours, or simply to have the freedom to study from anywhere. Especially, during the Covid-19 pandemic, it has become the only viable option for learning. The effectiveness of teaching various hard-core programming courses with a mix of theoretical content is determined by the student interaction and responses. In contrast to a digital lecture through Zoom or Teams, a lecturer may rapidly acquire such responses from students' facial expressions, behavior, and attitude in a physical session, even if the listener is largely idle and non-interactive. However, student assessment in virtual learning is a challenging task. Despite the challenges, different technologies are progressively being integrated into teaching environments to boost student engagement and motivation. In this paper, we evaluate the effectiveness of various in-class feedback assessment methods such as Kahoot!, Mentimeter, Padlet, and polling to assist a lecturer in obtaining real-time feedback from students throughout a session and adapting the teaching style accordingly. Furthermore, some of the topics covered by student suggestions include tutor suggestions, enhancing teaching style, course content, and other subjects. Any input gives the instructor valuable insight into how to improve the student's learning experience, however, manually going through all of the qualitative comments and extracting the ideas is tedious. Thus, in this paper, we propose a sentiment analysis model for extracting the explicit suggestions from the students' qualitative feedback comments.

연구 동기 및 목표

• 카후트!, 멘티미터, 패들릿과 같은 디지털 피드백 도구가 온라인 학습 환경에서 효과적으로 작동하는지 평가하기.
• 이러한 도구를 통해 수집된 정성적 피드백에 대한 감성 분석을 통해 학생의 태도를 이해하기.
• 일반 플랫폼인 코르스라와 같은 곳이 아닌, 평가 도구에서 수집된 피드백에 특화된 감성 분석에 대한 연구 격차를 규명하기.
• 실시간 수업 적응을 위한 구조화된 감성 분석 파이프라인을 제안하기.

제안 방법

• 2021년 가을 학기 동안 카후트!, 멘티미터, 패들릿을 통해 학생 피드백을 수집하는 것.
• 소문자화, 불용어 제거,标 punctuations 제거, 감탄부호 및 물음표 처리를 포함한 텍스트 사전 처리.
• 어휘 빈도, 품사 태깅, 否정 탐지, 그리고 의미적 맥락을 위해 SentiWordNet과 WordNet과 같은 어휘 자원 통합을 통한 특징 추출.
• 나이브 베이즈, 서포트 벡터 머신, 컬러션 신경망(CNN)과 같은 다수의 분류기 사용한 모델 학습.
• 의미 표현 및 의견 탐지 향상을 위해 온톨로지와 어휘어삼을 적용.
• 다양한 특징 세트와 알고리즘을 대상으로 모델 성능 평가를 통해 최적의 구성 식별.

실험 결과

연구 질문

• RQ1 2015년에서 2021년 사이에 피드백 수집 또는 퀴즈용 디지털 도구를 사용한 논문은 몇 편이 발표되었는가?
• RQ2 피드백 평가 도구에 관한 연구는 주로 어떤 출판물에 발표되었는가?
• RQ3 연구에서 가장 자주 다뤄진 피드백 평가 도구는 무엇인가?
• RQ4 피드백 도구에 관한 대부분의 연구는 언제 등장했는가?
• RQ5 교육 연구에서 피드백 기술 평가에 가장 널리 사용되는 평가 지표는 무엇인가?
• RQ6 실시간 세션 중 학생 피드백에 기반한 강의의 실시간 적응은 얼마나 효과적인가?
• RQ7 카후트!, 멘티미터, 패들릿과 같은 도구에서 수집된 정성적 피드백에 감성 분석을 효과적으로 적용하는 방법은 무엇인가?

주요 결과

• 조사된 기술들 중에서 카후트!가 가장 인기 있는 피드백 평가 도구로 확인되었다.
• 문헌 조사의 메타데이터 분석에 총 154篇의 논문이 포함되었다.
• 코르스라나 소셜 미디어와 같은 플랫폼에서의 감성 분석에 대해 광범위한 연구가 이루어졌음에도 불구하고, 카후트!, 멘티미터, 패들릿과 같은 도구에서 수집된 피드백의 감성 분석은 여전히 거의 다뤄지지 않은 분야이다.
• 실시간 피드백 시스템은 학생과 강사 모두에게 긍정적으로 평가되어 동적 수업 적응을 뒷받침한다.
• 제안된 감성 분석 모델은 데이터 사전 처리, 어휘 데이터베이스를 활용한 의미 특징 추출, 감성 분류 정확도 향상을 위한 분류기 학습을 포함한다.
• 수업 평가 도구에서 수집된 피드백에 특화된 감성 분석 적용에 대한 상당한 연구 격차가 존재하며, 이 분야의 향후 연구가 필요하다.