[论文解读] An electronic data management and analysis application for ABET accreditation

Adeel Sabir, Nisar Ahmad Abbasi+1 more|arXiv (Cornell University)|Dec 22, 2018

Engineering Education and Curriculum Development参考文献 12被引用 5

一句话总结

本文提出ACT，一款基于Microsoft Access开发的电子数据管理与分析应用，旨在简化工程教育项目的ABET认证流程。该工具自动化收集、分析和报告ABET标准3（学生学习成果）与标准4（持续改进）的直接与间接评估数据，减少文书工作，提升数据准确性，并使教师能够通过定量与定性反馈回路追踪项目表现并实施纠正措施。

ABSTRACT

This article presents an application developed for electronically managing and analyzing assessment data for ABET accreditation purposes using Microsoft Access. It facilitates the data entry, analysis and record-keeping for criterion 3 and 4 of the ABET engineering accreditation guidelines, which are arguably the most important, documentation-intensive and complex requirements in the entire process. Users can systematically manage large amounts of assessment data, conveniently run various queries and reports using pre-specified filters, and use them in analyzing the strengths, weaknesses and critical areas of the educational program. For closing the assessment cycle loop, the electronic tool also provides the ability to manage verbal feedback and observations for planning remedial actions and continually improving the program. The use of the application is demonstrated through illustrative examples on data gathered over multiple academic terms. The program and its user guide are available to educators and evaluators.

研究动机与目标

• 为应对ABET标准3与4所要求的文档密集型与复杂性，这些标准需要大量评估数据的收集与分析。
• 通过提供可定制的电子解决方案，减轻ABET认证中纸质数据管理带来的行政负担。
• 通过提供直观的数据输入、报告与分析工具，提升教师在认证过程中的参与度。
• 通过整合直接与间接评估数据，实现对学生学习成果与补救措施的系统性追踪。
• 通过将定性反馈与定量绩效趋势关联，支持持续改进。

提出的方法

• 使用Microsoft Access开发应用程序，构建关系型数据库以存储评估数据，包括直接与间接评分、课程教学大纲及学生作品样本。
• 实施预设查询与报告，并配备过滤器，使用户能够分析多个学期内学生学习成果的趋势。
• 系统支持通过标准化量表输入直接评估（如考试、项目）与间接评估（如调查、校友反馈）的数据。
• 集成反馈与观察模块，用于记录口头意见，并指导制定项目改进的纠正措施。
• 该工具支持将课程层面的数据映射至ABET学生学习成果（SOs），实现纵向趋势分析。
• 使用EE-340课程连续三个学期的真实评估数据对应用进行验证，证明其可用性与分析能力。

实验结果

研究问题

• RQ1 电子数据管理在多大程度上可减少ABET认证文档工作的时间与精力？
• RQ2 基于数据库的工具在多大程度上可提升ABET标准3与4评估数据收集的准确性与一致性？
• RQ3 整合直接与间接评估数据如何增强对项目优势与劣势的识别？
• RQ4 通过提供具备报告与分析功能的易用电子工具，能否提升教师在认证过程中的参与度？
• RQ5 该工具如何通过将反馈与绩效趋势关联，支持持续改进循环？

主要发现

• 该应用成功减少了对纸质文档的依赖，实现了ABET认证所需数据的系统化管理与检索。
• 趋势分析显示，在EE-340课程中，学生学习成果B（SO B）的直接评估分数在连续三个学期内呈稳步提升。
• 间接评估分数表现不一，从第162学期到第171学期出现下降，这与招生人数过少（仅两人）及调查回收率低有关。
• 在招生人数与回收率较高的学期（如第162与172学期），直接与间接评分的相关性更强，表明数据可靠性受样本量影响。
• 定性反馈与观察结果有效关联至绩效趋势，支持对EE-340课程实验部分的纠正措施的识别与实施。
• 教师在使用该工具后对评估数据的意识有所增强，但初期采用受限于数据量不足与分析输出有限。