[論文レビュー] An electronic data management and analysis application for ABET accreditation

Adeel Sabir, Nisar Ahmad Abbasi+1 more|arXiv (Cornell University)|Dec 22, 2018

Engineering Education and Curriculum Development参考文献 12被引用数 5

ひとこと要約

本論文では、工学プログラムのABET認定を簡素化するためにMicrosoft Accessを用いて開発された電子的データ管理・分析アプリケーションACTを提示する。このアプリケーションは、ABETの基準3（学生の学習成果）および基準4（継続的改善）の直接的・間接的評価データの収集、分析、レポート作成を自動化し、書類作成の負担を軽減し、データの正確性を向上させるとともに、教員が定量的・定性的なフィードバックループを用いてプログラムのパフォーマンスを追跡し是正措置を講じることを可能にする。

ABSTRACT

This article presents an application developed for electronically managing and analyzing assessment data for ABET accreditation purposes using Microsoft Access. It facilitates the data entry, analysis and record-keeping for criterion 3 and 4 of the ABET engineering accreditation guidelines, which are arguably the most important, documentation-intensive and complex requirements in the entire process. Users can systematically manage large amounts of assessment data, conveniently run various queries and reports using pre-specified filters, and use them in analyzing the strengths, weaknesses and critical areas of the educational program. For closing the assessment cycle loop, the electronic tool also provides the ability to manage verbal feedback and observations for planning remedial actions and continually improving the program. The use of the application is demonstrated through illustrative examples on data gathered over multiple academic terms. The program and its user guide are available to educators and evaluators.

研究の動機と目的

• ABET基準3および4の文書作成が煩雑で複雑であるという点に対処する。これらは広範な評価データ収集および分析を要する。
• 紙ベースのデータ管理による行政的負担を軽減するため、カスタマイズ可能な電子的ソリューションを提供する。
• 直感的なデータ入力、レポート作成、分析ツールを提供することで、教員の認定プロセスへの関与を向上させる。
• 統合された直接的および間接的評価データを通じて、学生の学習成果および是正措置の系統的追跡を可能にする。
• 定性的フィードバックを定量的パフォーマンス傾向に結びつけることで、継続的改善を支援する。

提案手法

• 評価データ（直接的および間接的スコア、授業計画、学生の提出物など）を格納するためのリレーショナルデータベースを構築するために、Microsoft Accessを用いてアプリケーションを開発した。
• ユーザーが複数の学期にわたる学生の学習成果の傾向を分析できるように、フィルタ機能を備えた事前定義されたクエリおよびレポートを実装した。
• 標準化されたスケールを用いて、直接的評価（例：試験、課題）および間接的評価（例：アンケート、卒業生のフィードバック）の両方のデータ入力を支援する。
• フィードバックおよび観察モジュールを統合し、口頭での入力を記録するとともに、プログラム改善のための是正措置の開発を支援する。
• コースレベルのデータをABETの学生学習成果（SOs）にマッピングできるようにし、縦断的傾向分析を可能にした。
• 本アプリケーションは、3期にわたり実際の評価データ（EE-340コース）を用いて検証され、その使用可能性および分析能力が確認された。

実験結果

リサーチクエスチョン

• RQ1 電子的データ管理は、ABET認定の文書作成に要する時間と労力の削減にどの程度寄与できるか？
• RQ2 データベース駆動型ツールは、ABET基準3および4の評価データ収集における正確性および一貫性をどの程度向上できるか？
• RQ3 直接的および間接的評価データの統合は、プログラムの強みと弱みの特定をどのように向上させるか？
• RQ4 レポート作成および分析機能を備えたアクセス可能な電子的ツールを通じて、教員の認定プロセスへの関与は向上するか？
• RQ5 フィードバックをパフォーマンス傾向に結びつけることで、このツールは継続的改善サイクルをどの程度支援するか？

主な発見

• アプリケーションは、紙ベースの文書作成への依存を著しく軽減し、ABET認定のための系統的で効率的なデータ管理および検索を可能にした。
• 傾向分析により、EE-340コースにおける学生学習成果B（SO B）の直接的評価スコアが3期にわたり着実に向上していることが明らかになった。
• 間接的評価スコアは混合的な傾向を示し、第162期から第171期にかけて低下したが、これはわずか2名の学生しか在籍していなかったことと、アンケートへの回答率が低かったことと関連していた。
• 直接的および間接的スコアの相関は、学生数および回答率が高い学期（例：第162期および第172期）でより強く、サンプルサイズに依存するデータの信頼性が確認された。
• 定性的フィードバックおよび観察は、EE-340コースの実験授業のパフォーマンス傾向に効果的に結びつけられ、是正措置の特定および実施を支援した。
• 教員はツールを使用した後、評価データの意識が高まったと報告したが、初期段階ではデータ量が不足しており、分析出力も限られていた。