[论文解读] Basic Parallel and Distributed Computing Curriculum

Claude Tadonki|arXiv (Cornell University)|Feb 12, 2018

Distributed and Parallel Computing Systems参考文献 15被引用 3

一句话总结

本文提出了一套结构化、面向本科水平的并行与分布式计算（PDC）课程，以应对计算机科学与工程领域对并行编程技能日益增长的需求。该课程构建了一套教学框架，整合了核心概念——如依赖性分析、调度以及MPI、OpenMP和Pthreads等编程模型——并结合性能评估与调试方法，其关键贡献在于为非专业学生提供了一条可扩展、易访问的教育路径。

ABSTRACT

With the advent of multi-core processors and their fast expansion, it is quite clear that {\em parallel computing} is now a genuine requirement in Computer Science and Engineering (and related) curriculum. In addition to the pervasiveness of parallel computing devices, we should take into account the fact that there are lot of existing softwares that are implemented in the sequential mode, and thus need to be adapted for a parallel execution. Therefore, it is required to the programmer to be able to design parallel programs and also to have some skills in moving from a given sequential code to the corresponding parallel code. In this paper, we present a basic educational scenario on how to give a consistent and efficient background in parallel computing to ordinary computer scientists and engineers.

研究动机与目标

• 应对由于多核与异构架构的兴起，标准计算机科学与工程课程中对并行计算教育日益增长的需求。
• 通过提供一套结构化、易访问的课程，克服历史上对教授PDC的犹豫不决，使其适用于非专业本科学生。
• 通过教授从串行代码到并行代码的转换，弥合串行编程与并行执行之间的差距。
• 使学生掌握性能分析、调试以及PDC教育中模拟器与工具使用的基 础技能。

提出的方法

• 提出一种按主题模块组织的课程结构：一般导论、计算模型、共享内存与分布式内存范式、指令级并行，以及性能评估。
• 使用任务图和递推方程等形式化方法，引入数据依赖性、同步与调度等关键概念。
• 聚焦于广泛使用的编程模型——MPI用于消息传递，OpenMP与Pthreads用于线程级并行，SSE用于SIMD——而不深入实现细节。
• 融入性能测量、调试与性能剖析技术，以评估和优化并行程序。
• 倡导使用模拟器与虚拟化工具支持学习，尤其适用于无法直接访问高性能硬件的学生。
• 将课程内容划分为三个主题组，以确保本科阶段教学的连贯性与适当深度。

实验结果

研究问题

• RQ1 如何有效将并行与分布式计算整合到标准的本科计算机科学与工程课程中？
• RQ2 在本科阶段，哪些核心概念与编程模型是构建可访问、基础性PDC课程的关键？
• RQ3 如何教授依赖性分析与调度，以帮助学生理解并优化并行性？
• RQ4 性能评估、调试与模拟工具在使PDC教育实用且高效方面发挥什么作用？
• RQ5 如何系统性地教授非专业学生从串行编程到并行编程的过渡？

主要发现

• 由于多核与异构处理器的广泛采用，并行与分布式计算必须在本科阶段进行教学。
• 一种整合了模型、编程范式、性能分析与工具使用的结构化课程，可使学生设计出中等复杂度的并行程序。
• 依赖性分析与调度对于识别并行性以及避免并行应用中的性能瓶颈至关重要。
• 使用MPI、OpenMP与Pthreads等成熟模型，以及模拟器，为教授实用的并行编程提供了有效路径。
• 性能测量与调试工具对于帮助学生评估与优化其并行实现至关重要。
• 模拟器与虚拟化工具可显著提升学习效果，尤其是在缺乏物理硬件访问的情况下。