[논문 리뷰] The Challenges of Assessing and Evaluating the Students at Distance

Fernando Almeida, José Monteiro|arXiv (Cornell University)|2021. 01. 30.

Online Learning and Analytics인용 수 10

한 줄 요약

이 논문은 코로나19 팬데믹 기간 동안 포르투갈의 높은 교육 기관에서 거리 학습 수강생들을 평가하는 데 직면한 과제를 분석하며, 기존의 대면 수업에서 원격 학습으로의 전환에 초점을 맞춘다. 형성적 평가 및 요약 평가 모델에 대한 교사와 학생의 시각을 분석하며, 웹캠 모니터링과 같은 감시 도구와 관련된 학업 정당성, 기술적 장벽, 개인정보 문제에 대한 우려를 제기하고, 원격 교육 환경에서 균형 잡힌 학습자 중심의 평가 접근법을 주장한다.

ABSTRACT

The COVID-19 pandemic has caused a strong effect on higher education institutions with the closure of classroom teaching activities. In this unprecedented crisis, of global proportion, educators and families had to deal with unpredictability and learn new ways of teaching. This short essay aims to explore the challenges posed to Portuguese higher education institutions and to analyze the challenges posed to evaluation models. To this end, the relevance of formative and summative assessment models in distance education is explored and the perception of teachers and students about the practices adopted in remote assessment is discussed. On the teachers' side, there is a high concern about adopting fraud-free models, and an excessive focus on the summative assessment component that in the distance learning model has less preponderance when compared to the gradual monitoring and assessment processes of the students, while on the students' side, problems arise regarding equipment to follow the teaching sessions and concerns about their privacy, particularly when intrusive IT solutions request the access to their cameras, audio, and desktop.

연구 동기 및 목표

• 코로나19 패닉이 포르투갈 높은 교육 기관의 평가 관행에 미친 영향을 분석하는 것.
• 원격 학습 환경에서 부정행위에 강한 평가 모델을 설계하는 데 있어 교사들이 겪는 과제를 조사하는 것.
• 원격 평가에 참여하면서 기술 접근성과 개인정보 문제에 대한 학생들의 우려를 조사하는 것.
• 원격 교육 환경에서 형성적 평가와 요약 평가 모델 간의 역할과 균형을 평가하는 것.
• 고위험 요약 평가보다는 지속적인 모니터링과 학습자 지원을 우선시하는 평가 모델의 재고를 제안하는 것.

제안 방법

• 본 연구는 포르투갈 높은 교육 기관에서 원격 평가 관행에 대한 교사와 학생의 인식에 대한 질적 분석을 수행한다.
• 연구는 패닉 기간 동안 원격 학습으로의 전환 과정에서 수행된 인터뷰와 설문 조사의 통찰을 활용한다.
• 저자들은 기존의 대면 평가 모델과 새로운 원격 평가 전략을 비교하며, 특히 감시 기술에 중점을 둔다.
• 분석은 원격 교육 환경에서 요약 평가 모델에서 형성적 평가 모델로의 전환을 강조한다.
• 시험 중 카메라, 마이크 및 화면 액세스를 요구하는 IT 솔루션의 효과성과 윤리적 함의를 평가한다.
• 연구는 포르투갈 높은 교육 기관을 중심으로 사례 연구 접근법을 사용하여 결과를 맥락화한다.

실험 결과

연구 질문

• RQ1 포르투갈 높은 교육 기관에서 원격 평가 시 학업 정당성을 유지하는 데 있어 교사들이 겪는 주요 과제는 무엇인가요?
• RQ2 학생들은 온라인 시험에서 웹캠 및 화면 모니터링과 같은 감시 기술의 사용을 어떻게 평가합니까?
• RQ3 형성적 평가는 원격 교육 기간 동안 학생 학습을 지원하는 데 있어 어떤 역할을 하는 것으로 인식되나요?
• RQ4 대면 수업에서 원격 수업으로의 전환은 형성적 평가와 요약 평가 모델 간의 균형에 어떤 영향을 미치나요?
• RQ5 학생들이 원격 평가에 참여하면서 겪는 주요 기술적 장벽과 개인정보 문제는 무엇인가요?

주요 결과

• 교사들은 부정행위 우려로 인해 웹캠 모니터링과 같은 감시 도구에 크게 의존하게 되었다고 밝혔다.
• 학생들은 신뢰할 수 있는 기기와 안정적인 인터넷 연결에 접근하는 데 어려움을 겪었으며, 이는 원격 평가에의 참여 능력에 영향을 주었다.
• 학생들 사이에는 특히 시험 중 카메라, 마이크 및 데스크톱 액세스가 의무화되는 것에 대해 개인정보 문제에 대한 우려가 널리 퍼져 있었다.
• 연구는 원격 학습 모델에서 요약 평가에 비해 형성적 평가 관행이 충분히 활용되지 않는 것으로 발견했다.
• 교육자들은 현재의 원격 평가 모델이 지속적인 모니터링과 피드백에 대해 덜 중시하고 있으며, 이는 학생 성공에 있어 핵심적인 요소임을 인정했다.
• 연구는 원격 교육에서의 기존 평가 모델이 공정성과 학생의 복지 측면에서 원격 학습의 요구에 충분히 부합하지 못하고 있음을 결론 내렸다.