[논문 리뷰] From Academia to Software Development: Publication Citations in Source Code Comments

Akira Inokuchi, Yusuf Sulistyo Nugroho외 6명|arXiv (Cornell University)|2019. 10. 15.

Software Engineering Research참고 문헌 35인용 수 6

한 줄 요약

이 논문은 소스 코드 주석에서 학술 논문 인용을 자동으로 탐지하는 자동화된 명명된 실체 인식(NER) 방법을 제안하며, F1 스코어 0.90을 달성한다. 25,925개의 저장소에서 319,438,977개의 주석을 대규모 분석한 결과, 특히 학술 저널 논문이 소스 코드에 자주 인용되며, 주로 알고리즘과 공식을 전달하기 위해 사용되며, 대부분의 인용은 원저자와 관련이 없는 개발자들로부터 유래됨을 확인하였다.

ABSTRACT

Academic publications have been evaluated in terms of their impact on research communities based on many metrics, such as the number of citations. On the other hand, the impact of academic publications on industry has been rarely studied. This paper investigates how academic publications contribute to software development by analyzing publication citations in source code comments in open source software repositories. We propose an automated approach for detecting academic publications based on Named Entity Recognition, and achieve 0.90 in $F_1$ as detection accuracy. We conduct a large-scale study of publication citations with 319,438,977 comments collected from 25,925 active repositories written in seven programming languages. Our findings indicate that academic publications can be knowledge sources for software development. These referenced publications are particularly from journals. In terms of knowledge transfer, algorithm is the most prevalent type of knowledge transferred from the publications, with proposed formulas or equations typically implemented in methods or functions in source code files. In a closer look at GitHub repositories referencing academic publications, we find that science-related repositories are the most frequent among GitHub repositories with publication citations, and that the vast majority of these publications are referenced by repository owners who are different from the publication authors. We also find that referencing older publications can lead to potential issues related to obsolete knowledge.

연구 동기 및 목표

• 오픈소스 소프트웨어 소스 코드 주석에서 학술 논문 인용의 범위와 성격을 조사하기 위해.
• 표준 인용 형식이 존재하지 않는 자유형 주석에서 논문 인용을 자동으로 탐지할 수 있는 방법을 개발하기 위해.
• 출판 유형, 지식 전이 패턴, 시간 분포 등을 포함한 인용된 논문의 특성 분석을 위해.
• 학술 인용이 소프트웨어 개발에서 지식 공유 및 노후화된 참조와 같은 잠재적 문제를 포함해 어떤 역할을 하는지 이해하기 위해.
• 학계와 소프트웨어 공학 간의 추적 가능성과 지식 전이를 향상시키기 위한 도구 지원을 위해.

제안 방법

• 규칙 기반 히우리스틱과 기계 학습을 조합하여, 소스 코드 주석에서 논문 인용을 탐지할 수 있도록 맞춤형 명명된 실체 인식(NER) 모델을 훈련시켰다.
• NER 모델은 저자 이름, 제목, 출판 연도, 저널/학회 식별자 등의 특징을 활용하여 비정형 텍스트에서 인용을 식별한다.
• 시스템은 일곱 가지 프로그래밍 언어에서 활성 저장소 25,925개에서 319,438,977개의 주석을 처리한다.
• 인용은 출판 유형(예: 저널, 학회), 지식 유형(예: 알고리즘, 공식), 시간적 연령으로 분류된다.
• 학술 인용이 포함된 일부 GitHub 저장소에 대한 정성적 분석을 수행하여 인용 패턴과 저자 관계를 분석하였다.
• 골드 표준 데이터셋을 사용하여 접근법을 평가하였으며, 인용 탐지에 대해 F1 스코어 0.90을 달성하였다.

실험 결과

연구 질문

• RQ1 오픈소스 소프트웨어 주석에서 학술 논문 인용의 보편성과 분포는 어떠한가?
• RQ2 개발자들은 소스 코드 주석에서 학술 논문을 어떻게 활용하는가? 어떤 유형의 지식이 전달되는가?
• RQ3 인용된 논문은 일반적으로 저널에서 나왔는가, 학회에서 나왔는가? 이는 프로그래밍 언어나 도메인에 따라 어떻게 달라지는가?
• RQ4 인용된 논문의 저자들과 이를 인용하는 개발자들 사이의 관계는 어떠한가?
• RQ5 인용된 논문의 연령과 인용 빈도, 잠재적 노후화 사이의 상관관계는 어떠한가?

주요 결과

• 학술 논문은 소스 코드 주석에서 자주 인용되며, 탐지된 인용의 90%가 학회 논문보다 저널 논문에서 유래되었다.
• 논문에서 전달되는 가장 흔한 지식 유형은 알고리즘이며, 일반적으로 공식이나 수식을 포함하는 메서드나 함수로 구현된다.
• 대부분의 인용된 논문은 원저자와 관련이 없는 개발자들에 의해 참조되며, 이는 학계에서 산업으로의 강력한 지식 전이를 시사한다.
• 오래된 논문일수록 더 자주 인용되지만, 상당수의 인용은 노후화된 자료를 대상으로 하여 지식의 노후화 가능성을 우려하게 한다.
• 과학 관련 저장소가 논문 인용을 포함할 가능성이 가장 높으며, 이는 학술 연구와 과학 소프트웨어 개발 간의 강력한 연관성을 시사한다.
• 참조된 링크의 상당수는 사라지거나 접근 불가능한 경우가 많아, 소프트웨어 문서화에서 지속 가능한 참조 유지의 과제를 드러낸다.