[논문 리뷰] Rationale in Development Chat Messages: An Exploratory Study

Rana Alkadhi, Teodora Lata외 2명|arXiv (Cornell University)|2017. 04. 27.

Software Engineering Research참고 문헌 33인용 수 12

한 줄 요약

이 연구는 소프트웨어 개발 팀이 사용하는 채팅 메시지를 이유, 결정, 설계적 타협 등에 대한 근거 자료로 간주하여 내용 분석과 기계 학습을 활용해 분석한다. 기계 학습 기법을 통해 채팅 메시지 내 근거를 효과적으로 탐지할 수 있음을 입증하였으며, 최대 0.88의 리콜로 근거를 탐지하고, 비관련 메시지를 0.98의 리콜로 걸러내어 비공식적 팀 커뮤니케이션에서 스케일러블하게 개발 지식을 추출할 수 있음을 보여준다.

ABSTRACT

Chat messages of development teams play an increasingly significant role in software development, having replaced emails in some cases. Chat messages contain information about discussed issues, considered alternatives and argumentation leading to the decisions made during software development. These elements, defined as rationale, are invaluable during software evolution for documenting and reusing development knowledge. Rationale is also essential for coping with changes and for effective maintenance of the software system. However, exploiting the rationale hidden in the chat messages is challenging due to the high volume of unstructured messages covering a wide range of topics. This work presents the results of an exploratory study examining the frequency of rationale in chat messages, the completeness of the available rationale and the potential of automatic techniques for rationale extraction. For this purpose, we apply content analysis and machine learning techniques on more than 8,700 chat messages from three software development projects. Our results show that chat messages are a rich source of rationale and that machine learning is a promising technique for detecting rationale and identifying different rationale elements.

연구 동기 및 목표

• 비공식적인 채팅 메시지에서 근거의 빈도와 완전성을 조사하기 위해.
• 기계 학습 기법을 활용해 채팅 메시지 내 근거 요소를 자동으로 탐지하고 분류하는 것이 가능한지 평가하기 위해.
• 비구조적이고 실시간 팀 커뮤니케이션에서 암묵적 개발 지식을 자동으로 추출하는 방법의 잠재력을 평가하기 위해.
• 비공식적인 근거 문서화 방식이 과도한 부담으로 인해 자주 사용되지 않는 점을 고려할 때, 채팅 메시지가 공식 문서화 자료의 타당한 대안임을 경험적으로 입증하기 위해.

제안 방법

• 소프트웨어 개발 프로젝트 3개에서 수집한 총 8,702개의 채팅 메시지에 대해 내용 분석을 수행하여, 문제, 대안, 찬반 논거, 결정 등 근거 요소를 수작업으로 레이블링하였다.
• 수작업 레이블링된 데이터셋을 활용해 다양한 기계 학습 모델을 훈련 및 평가하여 근거 탐지 및 분류를 수행하였다.
• 감독 학습 기법을 적용하여 메시지를 두 수준의 세부성으로 분류하였다: (1) 근거 존재 여부, (2) 특정 근거 요소 식별.
• 기계 학습 모델의 입력으로 채팅 메시지의 언어적 및 구조적 특징을 사용하였으며, 비공식적이고 짧은 형태의 커뮤니케이션 패턴에 중점을 두었다.
• 정밀도, 리콜, F1-스코어와 같은 표준 지표를 사용하여 모델 성능을 평가하여 탐지 및 분류 정확도를 분석하였다.

실험 결과

연구 질문

• RQ1 소프트웨어 개발 채팅 메시지에서 근거 요소는 얼마나 자주 나타나는가?
• RQ2 이러한 메시지에 담긴 근거는 얼마나 완전한가? 그리고 어떤 유형의 근거 요소가 가장 흔한가?
• RQ3 기계 학습 기법을 활용해 비공식적 채팅 커뮤니케이션 내 근거를 포함한 메시지를 효과적으로 탐지할 수 있는가?
• RQ4 기계 학습 모델은 문제, 대안, 찬반 논거, 결정과 같은 특정 근거 요소로 탐지된 근거를 정확하게 분류할 수 있는가?

주요 결과

• 채팅 메시지에는 근거가 다수 포함되어 있으며, 전체 메시지의 44.7퍼센트가 최소 한 개 이상의 근거 요소를 포함하고 있어 개발 지식의 풍부한 자료로 간주될 수 있다.
• 기계 학습 모델은 근거를 포함한 메시지를 탐지하는 데 최대 0.88의 리콜을 달성하여 자동 추출의 강력한 잠재력을 입증하였다.
• 근거가 없는 메시지를 걸러내는 데도 최대 0.98의 리콜을 기록하여 대규모 메시지 코퍼스에서 노이즈를 크게 줄일 수 있었다.
• 문제, 대안, 찬반 논거, 결정과 같은 근거 요소의 세분화된 분류가 가능하며, 다양한 모델에서 유망한 성능을 보였다.
• 결과적으로 비공식적 채팅 커뮤니케이션이 소프트웨어 개발 근거를 캡처하고 재사용하는 데 타당하고 아직 활용되지 않은 매체임을 시사한다.