[論文レビュー] Educators' Perspectives of Using (or Not Using) Online Exam Proctoring

David G. Balash, Rahel A. Fainchtein+4 more|arXiv (Cornell University)|Feb 24, 2023

Academic integrity and plagiarism被引用数 4

ひとこと要約

本研究はパンデミック期における教育者たちのオンライン試験監視ツールに関する見解を調査し、調査対象の21％がそのようなツールを使用していたことが判明した。主に不正防止を目的としていたが、学生のプライバシーとセキュリティへの懸念も伴っていた。主な発見として、教育者たちは技術的リスクよりも機関の推奨を信頼する傾向にあり、多くの教育者が監視を回避する代替評価法に移行している。これは、プライバシーの妥協に関する機関の指針の必要性が顕著であることを示している。

ABSTRACT

The onset of the COVID-19 pandemic changed the landscape of education and led to increased usage of remote proctoring tools that are designed to monitor students when they take assessments outside the classroom. While prior work has explored students' privacy and security concerns regarding online proctoring tools, the perspective of educators is under explored. Notably, educators are the decision makers in the classrooms and choose which remote proctoring services and the level of observations they deem appropriate. To explore how educators balance the security and privacy of their students with the requirements of remote exams, we sent survey requests to over 3,400 instructors at a large private university that taught online classes during the 2020/21 academic year. We had n=125 responses: 21% of the educators surveyed used online exam proctoring services during the remote learning period, and of those, 35% plan to continue using the tools even when there is a full return to in-person learning. Educators who use exam proctoring services are often comfortable with their monitoring capabilities. However, educators are concerned about students sharing certain types of information with exam proctoring companies, particularly when proctoring services collect identifiable information to validate students' identities. Our results suggest that many educators developed alternative assessments that did not require online proctoring and that those who did use online proctoring services often considered the tradeoffs between the potential risks to student privacy and the utility or necessity of exam proctoring services.

研究の動機と目的

• パンデミックに伴うリモート学習への移行期における教育者たちのオンライン試験監視ツールに関する認識を理解すること。
• 教育者が監視ツールの使用を決める際に、学生のプライバシーとセキュリティの懸念を学術的整合性の要請とどうバランスさせるかを検討すること。
• 教育者が選択する具体的な監視手法とその選択に影響する要因を特定すること。
• 機関への信頼が、侵襲的な監視ソフトウェアの導入意思決定にどのように影響するかを検討すること。
• 教育者に対する訓練や意識のギャップを特定することで、機関のポリシーを支援すること。

提案手法

• 2020/21年度にオンライン授業を実施した、大規模な私立大学の教員3,460名を対象に、IRB承認済みの全学的アンケート調査を実施した。
• 12の組織的単位（シニア・ジュニア教員および大学院教育者を含む）にまたがる教育者から有効な125件の回答を収集・分析した。
• 混合研究法を用いた分析：使用率や好みの定量的分析と、動機や懸念に関する自由記述欄の定性的なテーマコード化を併用した。
• 教育者が監視を実施するか回避するかの意思決定を、本人確認に必要な個人識別情報の収集やソフトウェア監視機能といった特定のリスク認識と照合した。
• 機関への信頼が、教育者が第三者プロバイダーの監視ベンダーにリスクを転送するプロセスに果たす役割を評価し、その影響を分析した。
• すべてのデータ、スクリプト、コードブックを公開GitHubリポジトリに共有し、再現可能性と透明性を確保した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 教育者たちはオンライン監視サービスについて、その機能と認識されるリスクに関して、どのように捉えているか？
• RQ2 RQ2: 教育者は、オンライン監視の使用（非使用）を決めるにあたり、学生のプライバシーとセキュリティの懸念をどのように考慮しているか？また、監視のパラメータをどのように設定しているか？
• RQ3 RQ3: 教育者はオンライン試験のためにどの監視手法を選択しており、その選択に影響する要因は何か？
• RQ4 RQ4: 機関の推奨が、教育者が第三者プロバイダーの監視ツールに対する信頼にどのように影響するか？また、その影響は学生のプライバシーにどのような意味を持つのか？
• RQ5 RQ5: 教育者はオンライン監視を回避するためにどのような代替評価戦略を採用しているか？また、セキュリティ、プライバシー、学術的整合性の間の妥協をどのように評価しているか？

主な発見

• 2020/21年のリモート学習期間中に、調査対象の教育者の21％がオンライン試験監視ツールを使用しており、そのうち35％が対面授業に戻っても引き続き使用する予定である。
• 教育者たちは、本人確認のための識別情報収集に関して顕著な懸念を示しており、これは主要なプライバシーリスク要因である。
• 監視ツールを使用しているにもかかわらず、多くの教育者が、二次デバイスや仮想マシンを用いた高度な不正行為を実際に検出・防止できるかどうかに疑念を抱いている。
• 多くの教育者が、監視を要しない代替評価を考案しており、非侵襲的評価法への傾向が高まっていることがうかがえる。
• 教育者たちは、機関の監査を経たことで安全であると仮定し、機関への信頼を監視ソフトウェアに移転しているが、最近のデータ漏洩や脆弱性の事例は、この仮定を裏付けていない。
• 本研究は、教育者が意思決定の権限を持つにもかかわらず、監視ツールに関連するプライバシーやセキュリティリスクについての認識が不足している機関の訓練ギャップが顕著であることを明らかにした。