[논문 리뷰] An electronic data management and analysis application for ABET accreditation

Adeel Sabir, Nisar Ahmad Abbasi외 1명|arXiv (Cornell University)|2018. 12. 22.

Engineering Education and Curriculum Development참고 문헌 12인용 수 5

한 줄 요약

이 논문은 공과 교육 프로그램의 ABET 인증을 간소화하기 위해 마이크로소프트 액세스를 사용해 개발한 전자 데이터 관리 및 분석 응용 프로그램 ACT를 제시한다. 이는 ABET 기준 3(학생 학습 성과)과 기준 4(지속적 개선)에 대한 직접 및 간접 평가 데이터의 수집, 분석, 보고를 자동화하여 종이 작업을 줄이고 데이터 정확성을 향상시키며, 정량적 및 정성적 피드백 루프를 통해 학부가 프로그램 성과를 추적하고 수정 조치를 시행할 수 있도록 한다.

ABSTRACT

This article presents an application developed for electronically managing and analyzing assessment data for ABET accreditation purposes using Microsoft Access. It facilitates the data entry, analysis and record-keeping for criterion 3 and 4 of the ABET engineering accreditation guidelines, which are arguably the most important, documentation-intensive and complex requirements in the entire process. Users can systematically manage large amounts of assessment data, conveniently run various queries and reports using pre-specified filters, and use them in analyzing the strengths, weaknesses and critical areas of the educational program. For closing the assessment cycle loop, the electronic tool also provides the ability to manage verbal feedback and observations for planning remedial actions and continually improving the program. The use of the application is demonstrated through illustrative examples on data gathered over multiple academic terms. The program and its user guide are available to educators and evaluators.

연구 동기 및 목표

• ABET 기준 3과 4의 문서 중심적이고 복잡한 성격을 해결하기 위해, 광범위한 평가 데이터 수집 및 분석이 필요하다.
• 종이 기반 데이터 관리의 행정 부담을 줄이기 위해 맞춤형 전자 솔루션을 제공함으로써 인증 과정의 효율성을 높이기 위해.
• 직관적인 데이터 입력, 보고서 작성 및 분석 도구를 제공함으로써 학부의 인증 과정 참여도를 향상시키기 위해.
• 통합된 직접 및 간접 평가 데이터를 통해 학생 학습 성과와 보완 조치의 체계적 추적을 가능하게 하기 위해.
• 정성적 피드백을 정량적 성과 추세와 연결함으로써 지속적 개선을 지원하기 위해.

제안 방법

• 평가 데이터(직접 및 간접 점수, 과목 교과서, 학생 작업 샘플 등)를 저장하기 위한 관계형 데이터베이스를 구축하기 위해 마이크로소프트 액세스를 사용해 애플리케이션을 개발했다.
• 사용자가 다수의 학기 동안 학생 학습 성과의 추세를 분석할 수 있도록 필터가 적용된 사전 정의된 쿼리 및 보고서를 구현했다.
• 표준 척도를 사용해 직접 평가(예: 시험, 과제) 및 간접 평가(예: 설문조사, 졸업생 피드백)에 대한 데이터 입력을 지원하는 시스템을 구현했다.
• 구두 피드백과 관찰 기록을 위한 모듈을 통합하여 프로그램 개선을 위한 수정 조치 개발을 안내했다.
• 과정 수준의 데이터를 ABET 학생 학습 성과(SOs)에 매핑할 수 있도록 설계되어 장기적 추세 분석이 가능하도록 했다.
• 실제로 EE-340 과목의 평가 데이터를 3개 연속 학기 동안 사용하여 도구의 사용성과 분석 능력을 검증했다.

실험 결과

연구 질문

• RQ1 전자적 데이터 관리가 ABET 인증 문서화에 소요되는 시간과 노력을 얼마나 줄일 수 있는가?
• RQ2 데이터베이스 기반 도구가 ABET 기준 3과 4에 대한 평가 데이터 수집의 정확성과 일관성에 얼마나 기여하는가?
• RQ3 직접 평가 데이터와 간접 평가 데이터를 통합함으로써 프로그램의 강점과 약점을 더 잘 식별할 수 있는가?
• RQ4 보고서 작성 및 분석 기능을 갖춘 접근 가능한 전자 도구를 통해 학부의 인증 과정 참여가 향상될 수 있는가?
• RQ5 도구가 피드백을 성과 추세와 연결함으로써 지속적 개선 사이클을 어떻게 지원하는가?

주요 결과

• 이 애플리케이션은 종이 기반 문서화 의존도를 성공적으로 줄여 ABET 인증을 위한 시스템적 데이터 관리 및 검색을 가능하게 했다.
• 추세 분석 결과, EE-340 과목에서 학생 학습 성과 B(SO B)의 직접 평가 점수가 3개 연속 학기 동안 지속적으로 향상된 것으로 나타났다.
• 간접 평가 점수는 혼합된 경향을 보였으며, 162학기에서 171학기로의 전환 시 학생 수가 매우 적고 설문 응답률이 낮아져 하락했다.
• 직접 평가 점수와 간접 평가 점수 간의 상관관계는 학생 수와 응답률이 높은 학기(예: 162학기 및 172학기)에서 더 강하게 나타났으며, 이는 데이터 신뢰성이 표본 크기에 민감함을 시사한다.
• 정성적 피드백과 관찰 자료가 성과 추세와 효과적으로 연결되어 EE-340 과목 실험 수업의 개선 조치 식별 및 이행을 지원했다.
• 학부는 도구 사용 후 평가 데이터에 대한 인식이 향상된 것으로 보고했지만, 초기 도입 단계에서는 데이터 수량 부족과 분석 결과 부족으로 제한이 있었다.