[논문 리뷰] Sourcerer's Apprentice and the study of code snippet migration

Stephen Romansky, Cheng Chen외 2명|arXiv (Cornell University)|2018. 07. 31.

Software Engineering Research참고 문헌 35인용 수 4

한 줄 요약

이 논문은 소스코드 클론이 StackOverflow와 오픈소스 프로젝트(예: 파이썬 모듈 및 문서) 간에 이동하는 것을 감지하는 웹 서비스인 Sourcerer’s Apprentice를 소개한다. 이는 광범위한 재라이센싱 및 저작권 표시 위반이 발생하고 있음을 드러내며, 파이썬 2.7 문서의 68,491개 클론이 적절한 저작권 표시 없이 CC-BY-SA 3.0 라이센스와 충돌함을 확인한다. 이는 개발자와 기업이 잘못된 재사용으로 인해 법적 위험에 노출됨을 시사한다.

ABSTRACT

On the worldwide web, not only are webpages connected but source code is too. Software development is becoming more accessible to everyone and the licensing for software remains complicated. We need to know if software licenses are being maintained properly throughout their reuse and evolution. This motivated the development of the Sourcerer's Apprentice, a webservice that helps track clone relicensing, because software typically employ software licenses to describe how their software may be used and adapted. But most developers do not have the legal expertise to sort out license conflicts. In this paper we put the Apprentice to work on empirical studies that demonstrate there is much sharing between StackOverflow code and Python modules and Python documentation that violates the licensing of the original Python modules and documentation: software snippets shared through StackOverflow are often being relicensed improperly to CC-BY-SA 3.0 without maintaining the appropriate attribution. We show that many snippets on StackOverflow are inappropriately relicensed by StackOverflow users, jeopardizing the status of the software built by companies and developers who reuse StackOverflow snippets.

연구 동기 및 목표

• 파이썬과 같은 오픈소스 프로젝트에서 공유된 코드 스니펫이 StackOverflow에 올라올 때 부적절하게 재라이센싱되고 저작권 표시가 되지 않는지 조사하기 위해.
• StackOverflow와 오픈소스 소프트웨어 저장소 간의 양방향 코드 유출 흐름을 평가하여 단방향 전파라는 가정을 도전하기 위해.
• 개발자가 잘못된 재사용으로 인한 법적 위험을 피할 수 있도록, 라이센스 불일치 코드 클론을 탐지하는 확장 가능한 웹 서비스를 개발하기 위해.
• 커뮤니티 플랫폼에서 널리 사용되는 코드 스니펫에서 부족한 저작권 표시와 호환되지 않는 라이센스가 초래하는 위험을 부각하기 위해.
• 개발자, StackOverflow, 오픈소스 기초재단이 라이센스 준수 및 저작권 표시 관행을 향상시킬 수 있도록 실천 가능한 권고 사항을 제공하기 위해.

제안 방법

• 저자들은 최첨단 코드 클론 검출기인 SourcererCC를 확장하여, StackOverflow 게시물, 파이썬 2.7 모듈 및 문서 간의 대규모 분산 클론 검출을 가능하게 하였다.
• 대규모 코드 집합에서의 라이센스 탐지 정확도를 향상시키기 위해, Ninka라는 라이센스 추론 도구를 재귀적 라이센스 추론 메커니즘과 통합하였다.
• 수평적 확장성과 쿼리 응답 시간 단축을 위해 비동기 작업 병렬 처리 및 분산 데이터 스플리팅을 활용한 시스템 설계를 구현하였다.
• 프로파일링과 인덱싱 파이프라인 최적화를 통해 시작 비용을 분산하고 인덱스 효율성을 향상시켜 성능을 최적화하였다.
• 웹 서비스는 다음과 같은 네 가지 핵심 사용 사례를 지원한다: StackOverflow와 연습 문제 간의 클론 탐지, 문서와 StackOverflow 간의 클론 탐지, 학생 과제 내부의 클론 탐지, 소프트웨어 프로젝트와 광범위한 코드베이스 간의 클론 탐지.
• 실증 분석은 1,000개의 인기 있는 pip 패키지와 파이썬 2.7 문서를 대상으로 수행되었으며, 결과는 클론 검출 및 라이센스 충돌 분석을 통해 검증되었다.

실험 결과

연구 질문

• RQ1 파이썬 모듈 및 문서에서 온 코드 스니펫이 적절한 저작권 표시 없이 또는 라이센스 준수 없이 StackOverflow로 복사되고 있는 정도는 어느 정도인가?
• RQ2 오픈소스 프로젝트에서 코드가 StackOverflow로 이관될 때, 특히 CC-BY-SA 3.0과 MIT 라이센스 코드 간에 어떻게 라이센스 충돌이 발생하는가?
• RQ3 StackOverflow와 오픈소스 프로젝트 간의 코드 흐름은 단방향인가, 아니면 오픈소스 프로젝트에서 StackOverflow로의 상당한 역방향 유출이 존재하는가?
• RQ4 StackOverflow의 클론된 문서 스니펫에서 파이썬 소프트웨어 재단에 대한 저작권 표시가 누락된 비율은 얼마인가?
• RQ5 Sourcerer’s Apprentice 웹 서비스는 대규모에서 라이센스 불일치 코드 클론을 탐지하는 데 얼마나 효과적인가?

주요 결과

• StackOverflow의 파이썬 2.7 문서 클론 68,491개가 파이썬 소프트웨어 재단에 대한 적절한 저작권 표시 없이 존재하며, 이 중에서 정확한 저작권 표시를 제공할 가능성이 있는 것은 단 4개에 불과하다.
• MIT 라이센스를 적용한 pip 모듈에서 온 46,709개의 클론이 StackOverflow에서 적용하는 CC-BY-SA 3.0 라이센스와 충돌하여 라이센스 불일치를 초래한다.
• StackOverflow와 오픈소스 프로젝트 간의 코드 흐름은 양방향이며, 오픈소스 프로젝트에서 StackOverflow로의 상당한 코드 이행이 이루어지고 있어, 단방향 흐름이라는 가정을 뒤집는다.
• 66%의 StackOverflow 사용자가 자신의 코드에 적용된 CC-BY-SA 3.0 라이센스를 인지하지 못하여, 뜻하지 않은 라이센스 위반 위험이 증가한다.
• Sourcerer’s Apprentice 웹 서비스는 분산 인덱싱, 병렬 처리 및 성능 최적화를 통해 대규모 클론 및 라이센스 충돌을 성공적으로 확장하여 탐지할 수 있다.
• 본 연구는 StackOverflow 코드 스니펫에 의존하는 개발자와 기업이 부족한 저작권 표시와 호환되지 않는 재라이센싱으로 인해 법적 위험에 노출되어 있으며, 이는 소프트웨어 배포 권한을 무효화할 수 있음을 드러낸다.