[논문 리뷰] Educators' Perspectives of Using (or Not Using) Online Exam Proctoring

David G. Balash, Rahel A. Fainchtein외 4명|arXiv (Cornell University)|2023. 02. 24.

Academic integrity and plagiarism인용 수 4

한 줄 요약

이 연구는 패an드믹 기간 동안 교육자들이 온라인 시험 감독 도구에 대해 어떻게 인식하는지 조사하며, 설문 조사한 교수가 총 21%가 이러한 도구를 사용했고, 주로 도용 방지를 위해 사용했지만, 학생의 개인정보 및 보안에 대한 우려가 존재함을 밝혀냈다. 주요 발견은 교육자들이 기술적 위험보다 기관의 추천을 더 신뢰하는 경향이 있으며, 많은 이들이 감독을 피하기 위해 대체 평가 방식으로 전환했음을 보여주며, 개인정보와의 상충 관계에 대한 기관의 지침이 절실한 필요성을 드러낸다.

ABSTRACT

The onset of the COVID-19 pandemic changed the landscape of education and led to increased usage of remote proctoring tools that are designed to monitor students when they take assessments outside the classroom. While prior work has explored students' privacy and security concerns regarding online proctoring tools, the perspective of educators is under explored. Notably, educators are the decision makers in the classrooms and choose which remote proctoring services and the level of observations they deem appropriate. To explore how educators balance the security and privacy of their students with the requirements of remote exams, we sent survey requests to over 3,400 instructors at a large private university that taught online classes during the 2020/21 academic year. We had n=125 responses: 21% of the educators surveyed used online exam proctoring services during the remote learning period, and of those, 35% plan to continue using the tools even when there is a full return to in-person learning. Educators who use exam proctoring services are often comfortable with their monitoring capabilities. However, educators are concerned about students sharing certain types of information with exam proctoring companies, particularly when proctoring services collect identifiable information to validate students' identities. Our results suggest that many educators developed alternative assessments that did not require online proctoring and that those who did use online proctoring services often considered the tradeoffs between the potential risks to student privacy and the utility or necessity of exam proctoring services.

연구 동기 및 목표

• 팬데믹 기반 원격 학습 전환 기간 동안 교육자들이 온라인 시험 감독 도구에 대해 어떻게 인식하는지 이해하기 위해.
• 교육자들이 시험 감독 도구 사용을 결정할 때 학생의 개인정보 및 보안 우려와 학업 정당성 요구 사항을 어떻게 weighing 하는지 조사하기 위해.
• 교육자들이 선택하는 특정 감독 방법과 그 선택에 影響을 미치는 요인을 특정하기 위해.
• 기관 신뢰가 침입적인 모니터링 소프트웨어 채택에 대한 교육자의 결정을 어떻게 형성하는지 탐구하기 위해.
• 교육자들이 프로ctor링 도구의 개인정보 및 보안 위험에 대해 훈련과 인식이 부족한 점을 밝혀 기관 정책 수립에 기여하기 위해.

제안 방법

• 2020/21 학년도 동안 원격 수업을 이수한 대규모 사립대학의 3,460명의 교수를 대상으로 캠퍼스 전역에 걸친 IRB 승인 설문 조사 실시.
• 12개 기관 단위(주로 고학년 및 신임 교수 및 대학원 교육자 포함) 소속 교육자들로부터 125건의 유효한 설문 응답 수집 및 분석.
• 혼합 방법 분석: 사용률 및 선호도에 대한 정량적 분석과, 동기 및 우려에 대한 개방형 응답의 정성적 주제 코드 분석.
• 교육자들이 감독 도구 사용 여부를 결정하는 데 영향을 미치는 특정 위험 인식(예: 신원 확인을 위한 신원 정보 수집, 소프트웨어 감시 기능)을 매핑.
• 기관의 신뢰가 인식된 위험을 감소시키는 데서 기여하는 방식을 평가하며, 교육자들이 기관의 검토를 통해 안전성을 보장한다고 가정함에도 불구하고 최근의 유출 사고 및 취약점은 이 가정을 반박함.
• 모든 데이터, 스크립트, 코드북을 공개 GitHub 리포지토리에 공개하여 재현 가능성과 투명성을 확보함.

실험 결과

연구 질문

• RQ1 RQ1: 교육자들은 온라인 감독 서비스에 대해 어떤 기능과 인식된 위험에 대해 어떻게 평가하는가?
• RQ2 RQ2: 교육자들은 온라인 감독 도구 사용 여부를 결정할 때 학생의 개인정보 및 보안 우려를 고려하는가? 그리고 감독 설정을 어떻게 설정하는가?
• RQ3 RQ3: 교육자들은 온라인 시험에 어떤 감독 방법을 선택하며, 그 선택에 영향을 미치는 요인은 무엇인가?
• RQ4 RQ4: 기관의 추천이 제3자 감독 소프트웨어에 대한 교육자의 신뢰에 어떤 영향을 미치며, 학생의 개인정보에 어떤 함의를 지닌다?
• RQ5 RQ5: 교육자들은 온라인 감독을 피하기 위해 어떤 대체 평가 전략을 채택하는가? 그리고 보안, 개인정보, 학업 정당성 간의 상충 관계를 어떻게 평가하는가?

주요 결과

• 2020/21년 원격 학습 기간 동안 설문 조사한 교육자의 21%가 온라인 시험 감독 도구를 사용했으며, 그 중 35%는 대면 수업 복귀 후에도 계속 사용할 계획임을 밝혔다.
• 교육자들은 신원 확인을 위한 신원 정보 수집에 대해 특히 우려를 표명하며, 개인정보 유출의 핵심 위험 요소로 지목했다.
• 감독 도구를 사용하고 있음에도 불구하고, 많은 교육자들이 고도로 발전된 도용 수단(예: 보조 기기, 가상 머신 등)을 탐지하거나 방지할 수 있는 실제 능력에 대해 회의적인 시각을 보였다.
• 많은 교육자들이 감독이 필요 없는 대체 평가 방식을 개발하여 비침습적 평가 방법에 대한 선호도가 높아지고 있음을 보여주었다.
• 교육자들은 기관의 검토를 통해 안전성을 보장한다고 가정하며 기관에서의 신뢰를 감독 소프트웨어로 이관했지만, 최근의 유출 사고 및 취약점은 이 가정을 반박한다.
• 연구는 기관의 훈련에 심각한 격차가 있음을 드러내며, 많은 교육자들이 프로코터링 도구와 관련된 개인정보 및 보안 위험에 대해 인식이 부족함에도 불구하고 결정 권한을 가짐을 보여주었다.