[논문 리뷰] Fundamental Analysis of a Developer Support Chat Log for Identifying Process Improvement Opportunities

Zádor Dániel Kelemen|arXiv (Cornell University)|2015. 01. 01.

Software Engineering Techniques and Practices참고 문헌 12인용 수 1

한 줄 요약

이 논문은 소프트웨어 개발 팀의 6개월 치 스키타 채팅 로그를 분석하여 개발자 지원 채팅 방해를 줄이기 위한 데이터 기반 접근법을 제안한다. 메시지 빈도 및 사용자 활동과 같은 단순한 지표를 사용해 프로세스 격차를 파악하고, 순환하는 딜리거 역할, 지식 기반, 음소거 정책과 같은 실행 가능한 개선 조치를 제안함으로써 핵심 개발 시간 동안 지원 시간을 단축하고 방해를 줄였다.

ABSTRACT

In this report analysis of a support chat log of a development team is shown. Developer support chat is used to provide internal support to other development teams. The report shows how a fundamental data analysis helped to identify gaps and action items to boost performance of a development team by reducing time spent on developer support chat and minimizing interrupts from other developer teams. The report also shows an example of how a root cause analysis can be supported by simple data analysis in finding process improvement opportunities.

연구 동기 및 목표

• 핵심 개발 팀에서 추적되지 않은 채팅 방해로 인한 높은 기술 지원 시간 문제를 해결하기 위해.
• 메시징 로그 분석을 통해 과도한 지원 채팅 사용의 근본 원인을 조사하기 위해.
• 개발자 지원에 소요되는 시간을 줄이고 팀의 방해를 최소화하기 위한 프로세스 개선 기회를 식별하기 위해.
• 공동 소재 소프트웨어 팀에서 지원 오버헤드를 줄이기 위한 실행 가능한, 데이터 기반 권고 사항을 제공하기 위해.

제안 방법

• 핵심 개발 팀으로부터 6개월 치 스키타 채팅 로그(144개의 활성 일, 3,498건의 메시지)를 수집하였다.
• 고유한 스키타 ID를 사용해 사용자 역할 및 팀 정보와 같은 조직 데이터와 채팅 로그를 병합하여 메시지의 맥락을 풍부하게 하였다.
• 총 메시지 수, 활성 사용자 수, 사용자/역할별 메시지량, 일일/주간 패턴을 포함한 7개의 핵심 지표에 대한 기본 데이터 분석을 적용하였다.
• 방송 기반 메시징 시스템에서 모호성이 있는 대화 길이와 같은 복잡한 지표는 배제하였다.
• 결과를 바탕으로 지원 관행의 격차를 파악하고 개선 조치를 도출하였다.
• 순환하는 딜리거 역할 및 비활동 사용자에 대한 음소거 가이드와 같은 정착된 솔루션을 제안하였다.

실험 결과

연구 질문

• RQ1 채팅 로그 데이터는 어떻게 개발자 지원 채팅 방해 패턴을 식별하는 데 사용될 수 있는가?
• RQ2 채팅 로그에서 어떤 지표가 내부 지원 프로세스의 비효율성을 가장 잘 드러내는가?
• RQ3 간단한 채팅 로그 데이터 분 析에서 유도할 수 있는 프로세스 개선 사항은 무엇인가?
• RQ4 개발 팀에 대한 반응성을 유지하면서 지원 오버헤드는 어떻게 줄일 수 있는가?

주요 결과

• 핵심 개발 팀은 144개의 활성 일 동안 총 3,498건의 메시지를 주고받으며 지원 요청에 대응하는 데 상당한 시간을 할애하였다.
• 외부 개발자로부터 많은 양의 메시지가 유입되어 중심화된 지원 조율의 부재를 시사했다.
• 가장 활동적인 사용자들이 반드시 팀 소속은 아니었으며, 이는 비핵심 개발자들이 자주 지원 요청을 시작하고 있음을 의미했다.
• 분석 결과, 핵심 개발 시간 동안 지원 방해가 빈번히 발생하여 생산성이 저해됨을 확인했다.
• 순환하는 딜리거 역할이 개인의 부담을 줄이고 응답 일관성을 향상시키는 핵심 솔루션으로 확인되었다.
• 지식 기반과 음소거 정책의 구현을 통해 중복 쿼리와 불필요한 방해를 줄일 수 있음을 권고하였다.