[논문 리뷰] Source code and data of "so-edit-viz" tool

Sebastian Baltes|arXiv (Cornell University)|2018. 11. 02.

Software Engineering Research참고 문헌 3인용 수 7

한 줄 요약

이 논문은 개별 텍스트 및 코드 블록 수준에서 Stack Overflow 게시물의 버전 기록을 재구성하는 개방형 데이터셋인 SOTorrent를 제시한다. 134개의 문자열 유사도 메트릭을 사용하여 저자들은 최적의 매칭 전략을 규명하였으며, 텍스트에는 맨하탄 프로파일 거리, 코드에는 윈오잉 기반 지문화 방법을 적용하였다. 이를 통해 게시물의 진화, 편집-댓글 관계, 코드 클론 분석이 가능해졌으며, 주요 발견사항으로는 대부분의 편집이 미미하고 초기에 발생하며, 많은 코드 스니펫이 적절한 기여 표시 없이 또는 라이선스 준수 없이 재사용된다는 점을 확인하였다.

ABSTRACT

Stack Overflow (SO) is the most popular question-and-answer website for software developers, providing a large amount of code snippets and free-form text on a wide variety of topics. Like other software artifacts, questions and answers on SO evolve over time, for example when bugs in code snippets are fixed, code is updated to work with a more recent library version, or text surrounding a code snippet is edited for clarity. To be able to analyze how content on SO evolves, we built SOTorrent, an open dataset based on the official SO data dump. SOTorrent provides access to the version history of SO content at the level of whole posts and individual text or code blocks. It connects SO posts to other platforms by aggregating URLs from text blocks and comments, and by collecting references from GitHub files to SO posts. In this paper, we describe how we built SOTorrent, and in particular how we evaluated 134 different string similarity metrics regarding their applicability for reconstructing the version history of text and code blocks. Based on different analyses using the dataset, we present: (1) insights into the evolution of SO posts, e.g., that post edits are usually small, happen soon after the initial creation of the post, and that code is rarely changed without also updating the surrounding text; (2) a qualitative study investigating the close relationship between post edits and comments, (3) a first analysis of code clones on SO together with an investigation of possible licensing risks. Finally, since the initial presentation of the dataset, we improved the post block extraction and our predecessor matching strategy.

연구 동기 및 목표

• Stack Overflow 게시물에 대한 세밀한 버전 기록 접근의 부족으로 인해 코드 및 텍스트의 진화에 대한 연구가 제한되는 문제를 해결하기 위해.
• 게시물 편집 간의 개별 텍스트 및 코드 블록의 기록을 신뢰할 수 있는 방법으로 재구성하기 위해.
• Stack Overflow에서의 코드 클론이 미치는 영향을 분석하고, 복사된 코드 스니펫의 라이선스 위험을 평가하기 위해.
• 편집, 댓글, 게시물 진화 간의 상호관계를 이해하는 데 기여하기 위해.
• GitHub 및 웹 URL과 같은 외부 자료와의 연계를 가능하게 하는 개방형이고 확장 가능한 데이터셋(SOTorrent)을 구축하고 유지하기 위해.

제안 방법

• 134개의 문자열 유사도 메트릭을 평가하여 텍스트 및 코드 블록 간의 매칭에 가장 효과적인 메트릭을 규명하기 위해.
• 텍스트 블록 매칭에 맨하탄 거리 기반의 프로파일 메트릭을, 코드 블록 매칭에 지문화 기반의 윈오잉 알고리즘을 사용하기 위해.
• 모호한 이전 후보자를 해결하기 위한 다단계 매칭 전략 개발 및 무작위 게시물 샘플을 활용한 반복적 정교화를 통해 정확도를 향상시키기 위해.
• 초기 재구성 과정에서 발생한 가짜 양성 및 가짜 음성 결과를 분석하여 매칭 정확도를 향상시키기 위해.
• 텍스트 블록과 댓글에서 URL을 추출하고, GitHub 파일 참조를 수집하여 플랫폼 간 연결을 가능하게 하기 위해.
• 데이터셋을 활용하여 편집 패턴, 코드 클론 탐지, 라이선스 영향에 관한 연구 질문에 답하기 위해.

실험 결과

연구 질문

• RQ1 RQ1: 콘텐츠, 편집, 구조적 변화 측면에서 Stack Overflow 게시물은 시간이 지남에 따라 어떻게 진화하는가?
• RQ2 RQ2: 질문과 답변 등의 유형 중 어떤 게시물이 더 자주 편집되는가? 편집 빈도에 영향을 주는 요인은 무엇인가?
• RQ3 RQ3: 게시물 편집과 댓글 간의 상호작용 패턴은 어떠한가? 이는 콘텐츠 진화와 어떻게 관련되어 있는가?
• RQ4 RQ4: Stack Overflow에서 코드 클론은 얼마나 퍼져 있으며, 그 성격은 어떠한가? 이와 관련된 라이선스 위험과 유지보수 리스크는 무엇인가?

주요 결과

• Stack Overflow 게시물의 대부분의 편집은 미미하며 초기 게시 직후에 발생하여 공동체 주도적 정교화가 빠르게 이루어진다는 점을 시사한다.
• 코드 블록은 주변 텍스트의 변경 없이 수정되는 경우가 거의 없으며, 이는 편집이 일반적으로 통합적일 뿐 아니라 고립된 수정이 아님을 시사한다.
• 맨하탄 거리 기반의 프로파일 메트릭이 텍스트 블록 버전 간 매칭에서 가장 높은 정확도를 기록하였고, 윈오잉 기반 지문화 방법이 코드 블록 매칭에서 다른 방법들을 압도적으로 뛰어나게 성능을 보였다.
• Stack Overflow에서 많은 수의 코드 스니펫이 여러 게시물 간에 재사용되고 있으며, 이는 코드 클론 존재를 시사하며, 기여 표시가 없어 라이선스 위험이 존재할 수 있음을 시사한다.
• GitHub 프로젝트에서 코드 스니펫을 사용하는 경우 약 25%만 원본 SO 게시물을 적절히 기재하고 있어, 라이선스 준수 미비가 광범위하게 발생하고 있음을 확인하였다.
• 데이터셋은 많은 SO 게시물이 외부 자원과 연결되어 있으며, GitHub 프로젝트에서 SO 게시물을 자주 참조하고 있음을 드러내어 향후 플랫폼 간 코드 흐름 연구에 기여할 수 있다.