[論文レビュー] Interpreting Cloud Computer Vision Pain-Points: A Mining Study of Stack Overflow

Alex Cummaudo, Rajesh Vasa+3 more|arXiv (Cornell University)|Jan 27, 2020

Software Engineering Research被引用数 4

ひとこと要約

本研究は、Stack Overflowの質問をマイニングすることで、クラウドベースのコンピュータビジョンAPIにおける開発者の課題を分析し、分類ファセットを用いて、開発者が下位のAIメカニズムの理解が浅く、ドキュメントが不十分であることに苦労していることを明らかにした。成熟した分野とは異なり、質問は深い技術的関与ではなく、基本的なデバッグ問題を反映しており、AIドリブンサービスにおける教育とドキュメントの改善が求められていることを示している。

ABSTRACT

Intelligent services are becoming increasingly more pervasive; application developers want to leverage the latest advances in areas such as computer vision to provide new services and products to users, and large technology firms enable this via RESTful APIs. While such APIs promise an easy-to-integrate on-demand machine intelligence, their current design, documentation and developer interface hides much of the underlying machine learning techniques that power them. Such APIs look and feel like conventional APIs but abstract away data-driven probabilistic behaviour - the implications of a developer treating these APIs in the same way as other, traditional cloud services, such as cloud storage, is of concern. The objective of this study is to determine the various pain-points developers face when implementing systems that rely on the most mature of these intelligent services, specifically those that provide computer vision. We use Stack Overflow to mine indications of the frustrations that developers appear to face when using computer vision services, classifying their questions against two recent classification taxonomies (documentation-related and general questions). We find that, unlike mature fields like mobile development, there is a contrast in the types of questions asked by developers. These indicate a shallow understanding of the underlying technology that empower such systems. We discuss several implications of these findings via the lens of learning taxonomies to suggest how the software engineering community can improve these services and comment on the nature by which developers use them.

研究の動機と目的

• クラウドベースのコンピュータビジョンAPIを使用する際、開発者が直面する課題の種類を特定・分類すること。
• 既存のStack Overflow投稿用分類ファセットが、インテリジェントサービスにおける課題を理解するために適用可能かどうかを調査すること。
• モバイル開発などの成熟した分野と比較して、コンピュータビジョンAPIに関する質問の性質にどのような差があるかを明らかにすること。
• 学習ファセット（SOLOおよびブルームの taxonomy）が、AIドリブンAPIに関する開発者の質問の認知的深さをどのように解釈できるかを探索すること。
• インテリジェントサービスにおけるAPI設計、ドキュメンテーション、ソフトウェア工学教育の改善に貢献すること。

提案手法

• 本研究は、ターゲットキーワードとフィルタリング基準を用いて、1,024件のStack Overflow投稿をクラウドコンピュータビジョンサービス関連でマイニングした。
• 分類には、2018年のドキュメント関連の質問と一般質問を分類するファセットと、2019年のSOLOおよびブルームの学習段階に基づくファセットを用いた。
• 分類作業は主たる研究者により実施され、主観を低減するための厳密なフィルタリングおよび信頼性評価プロセスが実施された。
• 分析は、ブルームのtaxonomyを用いて、質問の認知的レベル（例：記憶 vs. 評価）のパターンを特定することに焦点を当てた。
• 本研究は、コンピュータビジョン分野における質問タイプの分布を、モバイル開発などの成熟分野における分布と比較し、差異を浮き彫りにした。
• 質的分析を用いて、学習ファセットの枠組みを通じて、開発者の理解の深さを解釈するためのアプローチを採った。

実験結果

リサーチクエスチョン

• RQ1 開発者は、Stack OverflowにおいてクラウドベースのコンピュータビジョンAPIを使用する際に、一般的にどのような課題を訴えているか？
• RQ2 コンピュータビジョンAPIに関する開発者の質問の認知的レベルは、モバイル開発などの成熟したソフトウェア分野の質問と比べてどう異なるか？
• RQ3 既存のStack Overflow投稿用分類ファセットが、コンピュータビジョンのようなインテリジェントサービスに関する質問にどの程度適用可能か？
• RQ4 AIドリブンAPIのドキュメント品質および完全性に関する開発者の不満の主なテーマは何であるか？
• RQ5 学習ファセット（SOLOおよびブルームのtaxonomy）は、インテリジェントサービスに関する開発者の質問が示す理解の深さをどのように解釈するのに役立つか？

主な発見

• 開発者は、コンピュータビジョンAPIに関して、浅く基本的なデバッグに関する質問を頻繁にしていることから、下位の機械学習メカニズムの理解が不十分であることが示唆された。
• 質問の顕著な割合が「ドキュメント関連」と分類されており、APIドキュメントの明確さ、完全性、正確性が主な課題であることが示された。
• コンピュータビジョン分野における質問タイプの分布は、成熟分野（例：モバイル開発）とは顕著に異なり、高次の認知的質問（例：分析、評価）がより一般的である。
• ブルームのtaxonomyの適用により、大多数の質問が「記憶」と「理解」の段階に留まっており、『適用』『分析』『評価』に達する質問は少数にとどまっていることが判明した。これは、深い技術的関与が不足していることを示している。
• 本研究は、RESTful AI APIの表面的な単純さと、実際の確率的・データ駆動型の振るまいの複雑さとの間に、乖離があることを特定した。開発者はしばしばその複雑さを理解できていない。
• 研究者らは、現在のドキュメントおよび開発者教育が、AIドリブンサービスの非決定的かつ文脈依存性の性質に対応しておらず、結果として誤用や不満が生じていると提言した。