[论文解读] A Data Warehouse Design for a Typical University Information System

Youssef Bassil|arXiv (Cornell University)|Dec 10, 2012

Data Quality and Management参考文献 10被引用 26

一句话总结

本文提出了一种四阶段数据仓库设计模型——数据抽取、清洗、转换和索引/加载——用于将大学的运营型数据库转换为信息型数据仓库。该模型在 MS Access 2010 中实现，使决策者能够执行数据分析、预测和数据挖掘，以支持高等教育机构的战略规划与绩效评估。

ABSTRACT

Presently, large enterprises rely on database systems to manage their data and information. These databases are useful for conducting daily business transactions. However, the tight competition in the marketplace has led to the concept of data mining in which data are analyzed to derive effective business strategies and discover better ways in carrying out business. In order to perform data mining, regular databases must be converted into what so called informational databases also known as data warehouse. This paper presents a design model for building data warehouse for a typical university information system. It is based on transforming an operational database into an informational warehouse useful for decision makers to conduct data analysis, predication, and forecasting. The proposed model is based on four stages of data migration: Data extraction, data cleansing, data transforming, and data indexing and loading. The complete system is implemented under MS Access 2010 and is meant to serve as a repository of data for data mining operations.

研究动机与目标

• 为应对大学管理中日益增长的数据驱动决策需求。
• 将运营型数据库转化为适用于分析的信息型数据仓库。
• 支持高等教育机构的预测、数据挖掘与战略规划。
• 提供一种使用 MS Access 2010 等易用工具实现的实用且可实施的数据仓库模型。
• 通过大学环境中结构化的 ETL 流程确保数据质量和一致性。

提出的方法

• 所提出的模型遵循四阶段 ETL 流程：数据抽取、数据清洗、数据转换和数据索引/加载。
• 数据抽取涉及从现有大学数据库中提取运营数据。
• 数据清洗通过去除不一致、重复和空值来提升数据质量。
• 数据转换对格式进行标准化，并将数据聚合为适合分析的维度模型。
• 数据索引与加载将转换后的数据存储在针对查询和报告优化的星型模式结构中。
• 系统使用 Microsoft Access 2010 作为后端数据库管理系统进行实现。

实验结果

研究问题

• RQ1 如何有效将大学的运营型数据库转化为用于分析的数据仓库？
• RQ2 在大学信息系统中，哪些 ETL 阶段对于确保数据质量和可用性至关重要？
• RQ3 数据仓库如何支持高等教育中的决策制定、预测与数据挖掘？
• RQ4 何种实用的实施方法可在资源有限的条件下实现数据仓库开发？
• RQ5 数据清洗与转换在为大学数据分析准备数据方面发挥什么作用？

主要发现

• 所提出的四阶段 ETL 模型成功地将原始运营数据转化为结构化、可分析的数据仓库格式。
• 数据清洗显著提升了数据质量，减少了数据仓库中的不一致与错误。
• 在 MS Access 2010 中的实现表明，该模型对 IT 基础设施有限的小型至中型大学具有可行性。
• 所构建的数据仓库支持复杂的分析查询，能够实现预测与战略决策支持。
• 星型模式设计促进了对学术表现与行政指标的高效查询与报告。
• 该模型为大学环境中的数据仓库开发提供了一个可复用的框架。