[논문 리뷰] Towards Software Analytics: Modeling Maintenance Activities

Stanislav Levin, Amiram Yehudai|arXiv (Cornell University)|2019. 03. 09.

Software Engineering Research참고 문헌 42인용 수 7

한 줄 요약

이 논문은 소프트웨어 유지보수 활동 분류의 정확성과 신뢰성을 햖थ기 위해 세분화된 소스 코드 변경 사항과 커밋 메시지 분석을 융합한 크로스프로젝트 커밋 분류 모델을 제안한다. 랜덤 포레스트와 특징 공학을 활용한 방법은 76%의 정확도와 63%의 코HEN의 카파를 달성하여 이전 연구 대비 20个百分点 이상 높은 성능을 보이며, 소프트웨어 분석 및 유지보수 계획 수립 분야에서의 신뢰성 향상에 있어 뚜렷한 성과를 보여준다.

ABSTRACT

Lehman's Laws teach us that a software system will become progressively less satisfying to its users over time, unless it is continually adapted to meet new needs. Understanding software maintenance can potentially relieve many of the pains currently experienced by practitioners in the industry and assist in reducing uncertainty, improving cost-effectiveness, reliability and more. The research community classifies software maintenance into 3 main activities: Corrective: fault fixing; Perfective: system improvements; Adaptive: new feature introduction. In this work we seek to model software maintenance activities and design a commit classification method capable of yielding a high quality classification model. We performed a comparative analysis of our method and existing techniques based on 11 popular open source projects from which we had manually classified 1151 commits, over 100 commits from each of the studied projects. The model we devised was able to achieve an accuracy of 76% and Kappa of 63% (considered '"Good" in this context) for the test dataset, an improvement of over 20 percentage points, and a relative improvement of ~40% in the context of cross-project classification. We then leverage our commit classification method to demonstrate two applications: (1) a tool aimed at providing an intuitive visualization of software maintenance activities over time, and (2) an in-depth analysis of the relationship between maintenance activities and unit tests.

연구 동기 및 목표

• 기존의 단어 빈도 기반 방법을 초월하여 유지보수 활동(정정, 완벽화, 적응)으로의 커밋 분류 정확도와 신뢰성을 향상시키기.
• 실제 소프트웨어 엔지니어링 환경을 더 잘 반영하기 위해 기존 연구의 국한된 범위를 넘어서 크로스프로젝트 분류에 초점을 맞추어 한계를 보완하기.
• 유지보수 활동 분포의 클래스 불균형 문제를 고려하기 위해 이전 연구에서 자주 간과되던 코헨의 카파를 사용하기.
• 시각화 및 테스트 결함 탐지와 같은 실용적 응용을 개발하여 소프트웨어 분석 및 유지보수 계획 수립을 지원하기.
• 다양한 오픈소스 프로젝트 간에도 세분화된 소스 코드 변경 유형이 유지보수 활동 유형을 구분하는 데 효과적인 특징임을 입증하기.

제안 방법

• 균형 잡힌 벤치마크 데이터셋을 구성하기 위해 11개의 유명한 오픈소스 프로젝트에서 각각 약 100개의 커밋을 수집하고 수동으로 분류하여 총 1,151개의 커밋을 확보하였다.
• 커밋의 차이점(diff)에 대한 정적 분석을 통해 세분화된 소스 코드 변경 유형(예: 추가, 삭제, 수정)을 추출하고, 이를 구조적 특징으로 간주하였다.
• 텍스트 정제, 정규화 및 TF-IDF 벡터화를 통해 커밋 메시지를 전처리하여 언어적 특징을 추출하였다.
• 구조적(코드 변경) 특징과 언어적(커밋 메시지) 특징을 융합하여 하이브리드 모델을 구성하여 분류 작업을 수행하였다.
• 데이터의 85%를 사용하여 반복적인 5중 교차검증을 수행하고, 나머지 15%를 테스트용으로 활용하여 랜덤 포레스트(RF), 기울기 부스팅 기반 머신러닝(GBM), J48 등의 다양한 분류기들을 훈련 및 평가하였다.
• 정확도와 카파를 기준으로 최고 성능을 보인 모델(RF 기반 복합 모델)을 선정하고, 검증을 위해 미리 보지 않은 크로스프로젝트 테스트 데이터에서 성능을 확인하였다.

실험 결과

연구 질문

• RQ1 RQ1: 세분화된 소스 코드 변경 사항은 소프트웨어 커밋의 유지보수 활동 분류를 위한 고품질 모델을 구축하는 데 효과적으로 활용될 수 있는가?
• RQ2 RQ2: 소스 코드 변경 사항과 커밋 메시지 특징을 융합한 모델은 기존의 단어 빈도 기반 모델보다 크로스프로젝트 커밋 분류에서 더 뛰어난 성능을 보일 수 있는가?
• RQ3 RQ3: 제안된 분류 방법은 소프트웨어 분석 분야에서 실용적 응용, 예를 들어 유지보수 추세 시각화 및 테스트 결함 프로젝트 탐지 등을 가능하게 할 수 있는가?

주요 결과

• 제안된 복합 모델은 테스트 세트에서 76%의 정확도와 63%의 카파를 기록하여 이전의 크로스프로젝트 분류 방법 대비 정확도에서 20个百分点 이상 향상되었고, 상대적 성능 향상은 약 40%에 이르렀다.
• 랜덤 포레스트(RF) 알고리즘이 GBM과 J48보다 크로스프로젝트 분류에서 뛰어난 성능을 보이며, 이 작업에 적합한 강건성을 입증하였다.
• 텍스트 정제 및 정규화를 통한 전처리가 기존의 단어 빈도 기반 모델의 성능을 향상시켜 크로스프로젝트 데이터에서 68–69%의 정확도와 51–53%의 카파를 달성하였다.
• 최고 성능을 보인 모델(복합 모델)은 테스트 세트에서 76%의 정확도와 63%의 카파를 기록하였으며, 이는 Altman(1990)의 기준에 따라 "좋음(Good)"으로 분류된다.
• 본 연구는 소스 코드 변경 유형이 유지보수 활동 유형을 예측하는 데 통계적으로 유의미한 예측 변수임을 확인하였으며, 이는 예측 모델링에 활용될 수 있음을 뒷받침한다.
• 소프트웨어 유지보수 활동 탐색기 도구는 시간에 따른 유지보수 활동 추세를 성공적으로 시각화하여, 프로젝트 및 개발자 간 동질적인 유지보수 프로파일을 식별하는 데 기여하였다.