[논문 리뷰] StackOverflow vs Kaggle: A Study of Developer Discussions About Data Science

David Hin|arXiv (Cornell University)|2020. 06. 06.

Software Engineering Research인용 수 7

한 줄 요약

이 연구는 LDA 주제 모델링을 사용하여 StackOverflow와 Kaggle의 197,836명의 개발자 논의를 분석하여 플랫폼 간 데이터 과학 논의를 비교한다. 분석 결과, StackOverflow는 저수준의 텐서플로우 트러블슈팅에 초점을 맞추는 반면, Kaggle는 실용적인 랭킹 최적화와 앙상블 방법에 주로 집중하며, 키크래프트에 대한 관심은 증가하고 있고 전체적으로 데이터 과학 논의의 성장세는 지속되고 있음을 확인했다.

ABSTRACT

Software developers are increasingly required to understand fundamental Data science (DS) concepts. Recently, the presence of machine learning (ML) and deep learning (DL) has dramatically increased in the development of user applications, whether they are leveraged through frameworks or implemented from scratch. These topics attract much discussion on online platforms. This paper conducts large-scale qualitative and quantitative experiments to study the characteristics of 197836 posts from StackOverflow and Kaggle. Latent Dirichlet Allocation topic modelling is used to extract twenty-four DS discussion topics. The main findings include that TensorFlow-related topics were most prevalent in StackOverflow, while meta discussion topics were the prevalent ones on Kaggle. StackOverflow tends to include lower-level troubleshooting, while Kaggle focuses on practicality and optimising leaderboard performance. In addition, across both communities, DS discussion is increasing at a dramatic rate. While TensorFlow discussion on StackOverflow is slowing, interest in Keras is rising. Finally, ensemble algorithms are the most mentioned ML/DL algorithms in Kaggle but are rarely discussed on StackOverflow. These findings can help educators and researchers to more effectively tailor and prioritise efforts in researching and communicating DS concepts towards different developer communities.

연구 동기 및 목표

• StackOverflow와 Kaggle의 개발자 커뮤니티가 데이터 과학 주제를 어떻게 논의하는지 이해하기 위해.
• 두 플랫폼 간 주제의 빈도, 기술적 깊이, 논의 초점의 차이를 규명하기 위해.
• 텐서플로우 및 키크래프트와 같은 인기 도구에 대해 시간에 따라 변화하는 추세를 분석하기 위해.
• 특히 앙상블 방법과 같은 특정 머신러닝 알고리즘의 중요도가 두 커뮤니티에서 어떻게 다뤄지는지 분석하기 위해.
• 교육자와 연구자가 효과적인 지식 공유를 위해 플랫폼 특화된 커unikation 패턴을 이해하는 데 도움을 주기 위해.

제안 방법

• 197,836개의 게시글에서 주제 모델링을 위해 LDA를 적용하여 24개의 구분 가능한 데이터 과학 논의 주제를 추출하였다.
• StackOverflow와 Kaggle에서 수집한 게시글을 대상으로 데이터 과학, 머신러닝, 딥러닝 논의를 분석하였다.
• 주제 모델링을 통해 각 플랫폼에서 가장 자주 다뤄지는 주제를 식별하고 비교하였다.
• 시간에 따른 논의량 및 주제의 인기 변화 추세를 분석하였다.
• 두 커뮤니티 전반에서 특정 도구(예: 텐서플로우, 키크래프트)와 알고리즘(예: 앙상블 방법)의 빈도를 정량화하였다.
• 정성적 및 정량적 분석을 융합하여, 트러블슈팅과 성능 최적화 등 논의 초점의 차이를 평가하였다.

실험 결과

연구 질문

• RQ1 StackOverflow와 Kaggle에서 각각 가장 빈번하게 다뤄지는 데이터 과학 주제는 무엇인가?
• RQ2 StackOverflow와 Kaggle의 논의 기술 수준과 초점 영역는 어떻게 다를까?
• RQ3 텐서플로우 및 키크래프트와 같은 특정 머신러닝 프레임워크의 인기 변화 추세는 어떻게 관찰되는가?
• RQ4 왜 앙상블 알고리즘은 Kaggle에서는 자주 언급되지만 StackOverflow에서는 거의 다뤄지지 않을까?
• RQ5 두 플랫폼에서 데이터 과학 관련 논의의 볼륨은 어떻게 증가하고 있는가?

주요 결과

• 텐서플로우 관련 주제는 StackOverflow에서 가장 빈번하게 다뤄져, 저수준의 구현 및 디버깅에서의 역할을 반영하고 있다.
• 메타 논의—예를 들어 대회 규칙이나 데이터 공유에 관한 논의—는 Kaggle에서 가장 흔한 주제로, 커뮤니티와 협업에 대한 초점이 반영되어 있다.
• StackOverflow의 논의는 주로 저수준의 트러블슈팅 중심이지만, Kaggle의 논의는 실용성과 랭킹 성능 최적화에 중점을 두고 있다.
• 키크래프트에 대한 관심은 StackOverflow에서 증가하고 있으며, 텐서플로우 관련 논의는 둔화되고 있어 프레임워크 인기의 변화를 시사한다.
• 앙상블 알고리즘은 Kaggle에서 가장 자주 언급된 머신러닝/딥러닝 알고리즘이지만, StackOverflow에서는 거의 다뤄지지 않는다.
• 전반적으로 두 플랫폼에서 데이터 과학 논의의 증가세가 빠르며, 특히 머신러닝 및 딥러닝 주제에 대한 커뮤니티 참여가 급격히 증가하고 있다.