[논문 리뷰] 9.6 Million Links in Source Code Comments: Purpose, Evolution, and Decay

Hideaki Hata, Christoph Treude외 2명|arXiv (Cornell University)|2019. 01. 22.

Software Engineering Research참고 문헌 43인용 수 4

한 줄 요약

이 연구는 25,925개의 Git 저장소에서 960만 개의 소스 코드 주석 링크를 분석하여 그 존재 빈도, 목적, 진화 과정 및 쇠퇴 현상을 조사한다. 링크는 라이선스, 문서화, 기여자 표시 목적으로 널리 사용되지만, 대상의 변화나 업데이트 누락으로 인해 약 10퍼센트가 기능을 잃어버린다. 링크 수정을 위한 풀 리퀘스트가 오픈소스 프로젝트에서 성공적으로 머지된 점을 통해 이러한 링크의 취약성과 유지 보수를 위한 더 나은 도구의 필요성을 확인할 수 있다.

ABSTRACT

Links are an essential feature of the World Wide Web, and source code repositories are no exception. However, despite their many undisputed benefits, links can suffer from decay, insufficient versioning, and lack of bidirectional traceability. In this paper, we investigate the role of links contained in source code comments from these perspectives. We conducted a large-scale study of around 9.6 million links to establish their prevalence, and we used a mixed-methods approach to identify the links' targets, purposes, decay, and evolutionary aspects. We found that links are prevalent in source code repositories, that licenses, software homepages, and specifications are common types of link targets, and that links are often included to provide metadata or attribution. Links are rarely updated, but many link targets evolve. Almost 10% of the links included in source code comments are dead. We then submitted a batch of link-fixing pull requests to open source software repositories, resulting in most of our fixes being merged successfully. Our findings indicate that links in source code comments can indeed be fragile, and our work opens up avenues for future work to address these problems.

연구 동기 및 목표

• 실제 소프트웨어 저장소에서 소스 코드 주석 내 링크의 보편성과 목적을 이해하기 위해.
• 링크와 그 대상이 시간이 지남에 따라 어떻게 진화하는지, 링크의 쇠퇴 정도를 조사하기 위해.
• 오픈소스 프로젝트에서 풀 리퀘스트를 통해 손상된 링크를 성공적으로 수정할 수 있는지의 가능성과 영향을 평가하기 위해.
• 코드 주석 내 외부 참조의 추적 가능성, 버전 관리 및 지속 가능성 향상을 위한 도구 지원 기회를 규명하기 위해.

제안 방법

• 7개 프로그래밍 언어를 지원하는 파서를 사용해 25,925개의 Git 저장소에서 소스 코드 주석 내 960만 개의 링크를 수집하였다.
• 저장소 간 링크 보편성과 쇠퇴율을 평가하기 위해 대규모 정량적 분석을 수행하였다.
• 링크 대상과 목적을 분류하기 위해 1,146개의 샘플링된 링크를 대상으로 분层적 정성적 연구를 수행하였다.
• 커밋 기록을 분석하여 링크의 진화 과정과 대상의 변화를 시간 경과에 따라 연구하였다.
• 실제 활성 오픈소스 프로젝트에 9개의 링크 수정 풀 리퀘스트를 제출하여 실제 환경에서의 수정 가능성과 유지보수자 반응성을 평가하였다.
• 정량적 및 정성적 방법을 융합하여 링크 쇠퇴, 버전 관리 문제, 双방향 추적 가능성 격차를 평가하였다.

실험 결과

연구 질문

• RQ1 실제 저장소에서 소스 코드 주석 내 링크는 얼마나 널리 퍼져 있는가?
• RQ2 소스 코드 주석 내 링크는 일반적으로 어떤 종류의 대상을 참조하며, 어떤 목적을 가지고 있는가?
• RQ3 링크와 그 대상은 시간이 지남에 따라 어떻게 변화하는가? 얼마나 심각한 쇠퇴 현상이 발생하는가?
• RQ4 실제 활성 오픈소스 프로젝트에서 소스 코드 주석 내 손상된 링크를 풀 리퀘스트를 통해 얼마나 성공적으로 수정할 수 있는가?

주요 결과

• 연구 대상 25,925개 저장소 중 80퍼센트 이상이 소스 코드 주석에 최소 한 개 이상의 링크를 포함하고 있어 널리 사용되고 있음을 확인하였다.
• 라이선스, 소프트웨어 홈페이지, 명세서가 링크 대상으로 가장 흔히 등장하였다.
• 링크는 메타데이터나 기여자 표시 목적으로 자주 사용되었으며, 대상 변경 또는 가용성 상실로 인해 10퍼센트의 링크가 기능을 잃어버린 것으로 확인되었다.
• 업데이트 빈도가 낮음에도 불구하고 많은 경우 링크 대상이 진화하여 링크 쇠퇴에 상당한 기여를 하였다.
• 제출한 9개의 링크 수정 풀 리퀘스트 모두 프로젝트 유지보수자에 의해 성공적으로 머지되었으며, 이러한 수정의 가능성과 수용 가능성을 입증하였다.
• 연구 결과, 소스 코드 주석 내 링크는 버전 관리 부족과 이중 방향 추적 가능성 결여로 인해 취약하며, 문서화 및 소프트웨어 유지보수에 위험을 초래할 수 있음을 확인하였다.