[论文解读] Fluid Intelligence Doesn't Matter! Effects of Code Examples on the Usability of Crypto APIs

Kai Mindermann, Stefan Wagner|arXiv (Cornell University)|Apr 8, 2020

Neuroscience, Education and Cognitive Function参考文献 6被引用 3

一句话总结

本研究探讨了代码示例在过程相似性方面如何影响新手开发者在使用密码学API时的可用性与安全性。通过一项包含76名学生的受控实验，研究发现高过程相似性示例显著提升了开发效率、效果、满意度，并减少了安全错误——而流体智力（Gf）的影响可忽略不计，表明优质示例可弥补个体在问题解决能力上的认知差异。

ABSTRACT

Context: Programmers frequently look for the code of previously solved problems that they can adapt for their own problem. Despite existing example code on the web, on sites like Stack Overflow, cryptographic Application Programming Interfaces (APIs) are co monly misused. There is little known about what makes examples helpful for developers in using crypto APIs. Analogical problem solving is a psychological theory that investigates how people use known solutions to solve new problems. There is evidence that the capacity to reason and solve novel problems a.k.a Fluid Intelligence (Gf ) and structurally and procedurally similar solutions support problem solving. Aim: Our goal is to understand whether similarity and Gf also have an effect in the context of using cryptographic APIs with the help of code examples. Method: We conducted a controlled experiment with 76 student participants developing with or without procedurally similar examples, one of two Java crypto libraries and measured the Gf of the participants as well as the effect on usability (effectiveness, efficiency, satisfaction) and security bugs. Results: We observed a strong effect of code examples with a high procedural similarity on all dependent variables. Fluid intelligence Gf had no effect. It also made no difference which library the participants used. Conclusions: Example code must be more highly similar to a concrete solution, not very abstract and generic to have a positive effect in a development task.

研究动机与目标

• 探讨在使用密码学API时，代码示例的过程相似性是否能提升可用性与安全性。
• 评估流体智力（Gf）在借助示例完成密码学API任务时的作用。
• 比较两种密码学库（JDK与Google Tink）在可用性与安全性结果上的差异。
• 评估实际场景中的示例使用（如来自Stack Overflow的示例）是否能替代高相似性示例，以减少错误并提升性能。

提出的方法

• 开展了一项受控实验，参与者为76名本科生，作为新手开发者。
• 操纵两个独立变量：密码学库（JDK与Tink）和示例类型（CryptoExamples与网络搜索示例）。
• 测量最终实现代码的有效性、效率、满意度（通过SUS量表）以及静态安全错误。
• 使用Bochumer Matritzentest（BOMAT）高级简版评估流体智力（Gf）。
• 采用回归分析分离流体智力与示例相似性对结果的影响。
• 对网络搜索示例进行分类与比较，确保对照组未使用高相似性替代示例。

实验结果

研究问题

• RQ1 提供具有高过程相似性的代码示例是否能提升使用密码学API时的有效性、效率与满意度？
• RQ2 流体智力（Gf）在借助示例成功使用密码学API方面的影响程度如何？
• RQ3 在存在或不存在高相似性示例的情况下，密码学库的选择（JDK与Tink）是否会影响可用性与安全性结果？
• RQ4 网络搜索示例是否足以达到高过程相似性示例的效益，还是其影响存在显著差异？

主要发现

• 使用高过程相似性示例（CryptoExamples）的参与者平均有效性得分为0.841，而未使用示例的参与者为0.376。
• 示例使用者的效率高出269%，每小时完成1.287个任务，而对照组仅为0.298个。
• 示例使用者的满意度评分（SUS）显著更高（STM = 61.6），高于非示例使用者（SJO = 39.7）。
• 安全错误数量从对照组的平均3.28项降至示例组的0.33项，其中最常见的问题是“无完整性保护的加密”与“ECB模式”。
• 流体智力（Gf）的影响可忽略不计，回归系数（β）接近零，表明其对结果无实质性影响。
• 在有效性、效率或安全性结果方面，JDK与Tink库之间未发现显著差异，表明库的选择并非决定性因素。