[논문 리뷰] Interpreting Cloud Computer Vision Pain-Points: A Mining Study of Stack Overflow

Alex Cummaudo, Rajesh Vasa외 3명|arXiv (Cornell University)|2020. 01. 27.

Software Engineering Research인용 수 4

한 줄 요약

이 연구는 스택 오버플로우 질문을 분석하여 클라우드 기반 컴퓨터 비전 API에서 개발자가 겪는 고통 요소를 분석하며, 분류 체계를 통해 개발자가 기반 AI 메커니즘에 대해 얕은 이해를 하고 있으며, 문서화가 부족하다는 점을 드러낸다. 성숙한 도메인과 달리 질문들은 깊이 있는 기술적 참여가 아니라 기본적인 디버깅 문제를 반영하며, 이는 AI 기반 서비스에서 교육과 문서화 향상의 필요성을 시사한다.

ABSTRACT

Intelligent services are becoming increasingly more pervasive; application developers want to leverage the latest advances in areas such as computer vision to provide new services and products to users, and large technology firms enable this via RESTful APIs. While such APIs promise an easy-to-integrate on-demand machine intelligence, their current design, documentation and developer interface hides much of the underlying machine learning techniques that power them. Such APIs look and feel like conventional APIs but abstract away data-driven probabilistic behaviour - the implications of a developer treating these APIs in the same way as other, traditional cloud services, such as cloud storage, is of concern. The objective of this study is to determine the various pain-points developers face when implementing systems that rely on the most mature of these intelligent services, specifically those that provide computer vision. We use Stack Overflow to mine indications of the frustrations that developers appear to face when using computer vision services, classifying their questions against two recent classification taxonomies (documentation-related and general questions). We find that, unlike mature fields like mobile development, there is a contrast in the types of questions asked by developers. These indicate a shallow understanding of the underlying technology that empower such systems. We discuss several implications of these findings via the lens of learning taxonomies to suggest how the software engineering community can improve these services and comment on the nature by which developers use them.

연구 동기 및 목표

• 클라우드 기반 컴퓨터 비전 API를 사용할 때 개발자가 겪는 과제의 유형을 특정하고 분류하는 것.
• 기존의 스택 오버플로우 게시물 분류 체계가 지능형 서비스의 고통 요소를 이해하는 데 적용 가능한지 조사하는 것.
• 모바일 개발과 같은 더 성숙한 도메인과 비교하여 컴퓨터 비전 API에 대한 질문의 성격을 비교하여 개발자 이해의 차이를 부각하는 것.
• 학습 체계(SOLO 및 블룸의 계층)가 AI 기반 API에 대한 개발자 질문의 인지적 깊이를 이해하는 데 어떻게 기여할 수 있는지 탐색하는 것.
• 지능형 서비스를 위한 API 설계, 문서화, 소프트웨어 공학 교육 향상에 정보를 제공하는 것.

제안 방법

• 연구는 타겟 키워드와 필터링 기준을 사용하여 1,024개의 스택 오버플로우 게시물을 클라우드 기반 컴퓨터 비전 서비스 관련으로 추출하였다.
• 게시물은 두 가지 기존 분류 체계를 사용하여 분류되었다: 2018년도 문서화 관련 질문 대 일반 질문에 대한 분류 체계, 그리고 SOLO 및 블룸의 학습 수준 기반 2019년도 체계.
• 분류 작업은 주 연구자에 의해 수행되었으며, 주관성을 줄이기 위해 철저한 필터링 및 신뢰성 평가 절차가 수반되었다.
• 분석은 주로 블룸의 체계를 사용하여 질문의 인지 수준(예: 기억 대 비판)을 파악하는 데 집중되었다.
• 컴퓨터 비전 분야의 질문 유형 분포를 모바일 개발과 같은 기성 도메인의 분포와 비교하여 격차를 부각시켰다.
• 학습 체계 프레임워크를 활용하여 발견된 결과를 해석하는 질적 분석을 수행하여 개발자 이해의 깊이를 이해하고자 하였다.

실험 결과

연구 질문

• RQ1 개발자가 스택 오버플로우에서 클라우드 기반 컴퓨터 비전 API를 사용할 때 자주 표현하는 고통 요소의 유형은 무엇인가?
• RQ2 컴퓨터 비전 API에 대한 개발자 질문의 인지 수준은 모바일 개발과 같은 더 성숙한 소프트웨어 도메인의 질문과 비교해 볼 때 어떻게 다른가?
• RQ3 기존의 스택 오버플로우 게시물 분류 체계가 컴퓨터 비전과 같은 지능형 서비스에 대한 질문에 얼마나 적용 가능한가?
• RQ4 AI 기반 API의 문서 품질과 완전성에 대한 개발자 불만에서 지배적인 주제는 무엇인가?
• RQ5 학습 체계(SOLO 및 블룸의 계층)는 지능형 서비스에 대한 개발자 질문이 반영하는 이해의 깊이를 어떻게 해석하는 데 기여할 수 있는가?

주요 결과

• 개발자들은 컴퓨터 비전 API에 대해 얕고 기본적인 디버깅 질문을 자주 제기하며, 이는 기반 머신러닝 메커니즘에 대한 이해 부족을 시사한다.
• 질문의 상당 부분이 '문서화 관련'으로 분류되며, 이는 API 문서의 명확성, 완전성, 정확성에 문제가 있다는 점을 시사한다.
• 컴퓨터 비전 분야의 질문 유형 분포는 모바일 개발과 같은 성숙한 도메인과 뚜렷이 다름을 보이며, 고차원적 인지 질문(예: 분석, 평가)이 더 흔한 것으로 나타났다.
• 블룸의 체계 적용 결과 대부분의 질문이 '기억' 및 '이해' 수준에 머물러 있으며, '적용', '분석', '평가' 수준에 도달하는 질문은 극소수에 그쳐 깊이 있는 기술적 참여가 부족함을 시사한다.
• 이 연구는 RESTful AI API의 간단함으로 인식되는 것과는 달리, 실제로는 확률적이고 데이터 중심적인 행동을 가지며, 개발자들이 이에 대해 이해하지 못하는 데서 오는 괴리가 있음을 밝혀냈다.
• 저자들은 현재 문서화와 개발자 교육가 AI 기반 서비스의 비결정적이고 맥락 민감한 성격을 충분히 다루지 못해 오용과 좌절이 발생하고 있다고 제안한다.