[论文解读] Interpreting Cloud Computer Vision Pain-Points: A Mining Study of Stack Overflow

Alex Cummaudo, Rajesh Vasa+3 more|arXiv (Cornell University)|Jan 27, 2020

Software Engineering Research被引用 4

一句话总结

本研究通过挖掘 Stack Overflow 问题，分析了开发者在使用基于云的计算机视觉 API 时的痛点，利用分类分类法揭示出开发者对底层人工智能机制的理解较为浅显，且文档支持不足。与成熟领域不同，相关问题多反映基础调试问题，而非深层次的技术探讨，表明人工智能驱动服务在教育和文档方面亟需改进。

ABSTRACT

Intelligent services are becoming increasingly more pervasive; application developers want to leverage the latest advances in areas such as computer vision to provide new services and products to users, and large technology firms enable this via RESTful APIs. While such APIs promise an easy-to-integrate on-demand machine intelligence, their current design, documentation and developer interface hides much of the underlying machine learning techniques that power them. Such APIs look and feel like conventional APIs but abstract away data-driven probabilistic behaviour - the implications of a developer treating these APIs in the same way as other, traditional cloud services, such as cloud storage, is of concern. The objective of this study is to determine the various pain-points developers face when implementing systems that rely on the most mature of these intelligent services, specifically those that provide computer vision. We use Stack Overflow to mine indications of the frustrations that developers appear to face when using computer vision services, classifying their questions against two recent classification taxonomies (documentation-related and general questions). We find that, unlike mature fields like mobile development, there is a contrast in the types of questions asked by developers. These indicate a shallow understanding of the underlying technology that empower such systems. We discuss several implications of these findings via the lens of learning taxonomies to suggest how the software engineering community can improve these services and comment on the nature by which developers use them.

研究动机与目标

• 识别并分类开发者在使用基于云的计算机视觉 API 时所面临的挑战类型。
• 探究现有的 Stack Overflow 帖子分类分类法是否可应用于理解智能服务中的痛点。
• 将计算机视觉 API 的问题性质与移动开发等更成熟领域的问题进行对比，突出开发者理解上的差异。
• 探讨学习分类法（SOLO 和 Bloom’s）如何揭示开发者关于人工智能驱动 API 的问题所反映的认知深度。
• 为智能服务的 API 设计、文档编写及软件工程教育提供改进建议。

提出的方法

• 本研究使用有针对性的关键词和过滤标准，挖掘了 1,024 个与基于云的计算机视觉服务相关的 Stack Overflow 帖子。
• 采用两种现有分类法对帖子进行分类：2018 年的文档相关问题与一般问题分类法，以及基于 SOLO 和 Bloom’s 学习层级的 2019 年分类法。
• 分类由主要作者完成，并经过严格的过滤与可靠性评估流程，以减少主观性影响。
• 分析重点在于识别问题类型中的模式，特别是通过 Bloom’s 分类法识别问题的认知层级（如记忆与理解）。
• 将计算机视觉领域的问题类型分布与移动开发等成熟领域的问题分布进行对比，突出差异。
• 采用定性视角，结合学习分类法框架，以理解开发者对人工智能服务问题的认知深度。

实验结果

研究问题

• RQ1 开发者在 Stack Overflow 上使用基于云的计算机视觉 API 时，常表达哪些类型的痛点？
• RQ2 关于计算机视觉 API 的开发者问题的认知层级，与移动开发等更成熟软件领域的问题相比如何？
• RQ3 现有的 Stack Overflow 帖子分类分类法在多大程度上适用于智能服务（如计算机视觉）相关问题？
• RQ4 开发者对人工智能驱动 API 的文档质量与完整性抱怨中的主导主题是什么？
• RQ5 学习分类法（SOLO 和 Bloom’s）在多大程度上可帮助解读开发者关于智能服务问题所反映的理解深度？

主要发现

• 开发者频繁提出浅显、基础的调试问题，表明其对底层机器学习机制的理解有限。
• 大量问题被归类为‘文档相关’，表明 API 文档的清晰度、完整性和准确性是主要痛点。
• 计算机视觉领域的问题类型分布与移动开发等成熟领域存在显著差异，后者更常见高层次认知问题（如分析、评估）。
• Bloom’s 分类法的应用显示，大多数问题处于‘记忆’和‘理解’层级，极少达到‘应用’、‘分析’或‘评估’层级，表明缺乏深层次技术参与。
• 本研究发现，RESTful 人工智能 API 的感知简单性与其实则复杂的概率性、数据驱动行为之间存在错配，开发者往往未能理解这一点。
• 作者建议，当前的文档和开发者教育未能涵盖人工智能服务的非确定性和上下文敏感性，导致误用和挫败感。