[论文解读] Research Methods in Computer Science: The Challenges and Issues

Hossein Hassani|arXiv (Cornell University)|Mar 12, 2017

Software Engineering Research参考文献 28被引用 12

一句话总结

本文探讨了在计算机科学领域建立标准化研究方法所面临的挑战，认为尽管该领域年轻且具有跨学科性质，计算研究仍遵循核心科学方法论——主要是实证主义/后实证主义范式——同时需要针对性的调整。文章指出，软件开发与实验研究之间界限模糊是关键问题，主张通过更清晰的方法论教育来增强该领域的研究诚信与成熟度。

ABSTRACT

Research methods are essential parts in conducting any research project. Although they have been theorized and summarized based on best practices, every field of science requires an adaptation of the overall approaches to perform research activities. In addition, any specific research needs a particular adjustment to the generalized approach and specializing them to suit the project in hand. However, unlike most well-established science disciplines, computing research is not supported by well-defined, globally accepted methods. This is because of its infancy and ambiguity in its definition, on one hand, and its extensive coverage and overlap with other fields, on the other hand. This article discusses the research methods in science and engineering in general and in computing in particular. It shows that despite several special parameters that make research in computing rather unique, it still follows the same steps that any other scientific research would do. The article also shows the particularities that researchers need to consider when they conduct research in this field.

研究动机与目标

• 分析由于计算机科学的跨学科性和动态发展特性，导致其缺乏普遍接受的研究方法。
• 澄清计算机科学中软件/系统开发项目与真正的实验性/理论性研究之间的区别。
• 考察计算机科学中占主导地位的研究范式——尤其是实证主义/后实证主义——及其方法论影响。
• 强调提升方法论教育的必要性，以减少学生和早期职业研究人员的困惑。
• 倡导通过系统性地适配科学实践，发展一套成熟且领域特定的研究方法论。

提出的方法

• 分析多个学术来源中对研究的奠基性定义，以建立科学探究的共同框架。
• 回顾包括实证主义、后实证主义、建构主义和批判理论在内的研究范式，重点关注其在计算领域的相关性。
• 探讨计算研究的认识论和本体论基础，并将其与方法论选择联系起来。
• 评估计算领域中实验性和实证性研究的实际案例（例如，访问控制策略分析、移动学习系统），以说明方法论的应用。
• 将计算研究实践与自然科学及社会科学的研究实践进行比较，识别其相似之处与独特挑战。
• 提出一个双重视角的计算研究框架——实验性与理论性——以实证主义/后实证主义范式为基础，同时为定性与混合方法研究保留空间。

实验结果

研究问题

• RQ1 尽管计算机科学具有科学基础，为何仍缺乏普遍接受的研究方法论？
• RQ2 自然科学与社会科学的范式如何适用于计算研究？其关键差异是什么？
• RQ3 什么区分了计算机科学中的实验研究与软件开发？为何这种区分常常模糊不清？
• RQ4 定量、定性与混合方法研究在计算研究中如何共存？各自应在何时使用？
• RQ5 如何改进计算机科学中的研究方法论教育，以支持学生和研究人员的方法论严谨性与清晰性？

主要发现

• 尽管计算机科学年轻且具有跨学科性，其研究仍遵循与其他领域相同的科学核心流程：提出研究问题、选择方法并产生可验证的结果。
• 计算机科学研究的主导范式是实证主义/后实证主义，强调假设检验、实证数据与逻辑一致性。
• 尽管已有进展，学生等群体仍常因目标与产出的重叠而混淆软件开发项目与实验研究。
• 计算领域的实证与实验研究——如在软件工程中——已获得认可，高质量研究日益普遍，但尚未系统化。
• 在涉及社会科学或人因因素的跨学科计算研究中，混合方法研究正变得越来越合适。
• 计算机科学缺乏标准化研究方法论仍是关键挑战，但日益增长的意识与教育努力正为方法论的成熟铺平道路。