[논문 리뷰] ESSMArT Way to Manage User Requests

Maleknaz Nayebi, Liam Dicke외 3명|arXiv (Cornell University)|2018. 08. 11.

Advanced Text Analysis Techniques참고 문헌 41인용 수 8

한 줄 요약

ESSMArT는 소프트웨어 개발 환경에서 사용자 요청을 종합적이고 자동화된 방식으로 관리하기 위한 방법으로, 텍스트 요약, 티켓 승격 예측, 개발자 전용 티켓 제목 및 내용 생성, 개발자 할당을 수행한다. 실제 4,114건의 티켓을 대상으로 평가한 결과, 평균 요청 처리 시간이 9.2분 감소했고, 인간의 제안과 71%의 일치도를 달성했으며, 문맥 및 요약된 데이터를 기반으로 Random Forest를 사용한 승격 예측에서 정밀도는 0.9, 재현율은 0.55를 기록했다.

ABSTRACT

Quality and market acceptance of software products is strongly influenced by responsiveness to user requests. Once a request is received from a customer, decisions need to be made if the request should be escalated to the development team. Once escalated, the ticket must be formulated as a development task and be assigned to a developer. To make the process more efficient and reduce the time between receiving and escalating the user request, we aim to automate of the complete user request management process. We propose a holistic method called ESSMArT. The methods performs text summarization, predicts ticket escalation, creates the title and content of the ticket used by developers, and assigns the ticket to an available developer. We internally evaluated the method by 4,114 user tickets from Brightsquid and their secure health care communication plat- form Secure-Mail. We also perform an external evaluation on the usefulness of the approach. We found that supervised learning based on context specific data performs best for extractive summarization. For predicting escalation of tickets, Random Forest trained on a combination of conversation and extractive summarization is best with highest precision (of 0.9) and recall (of 0.55). From external evaluation we found that ESSMArT provides suggestions that are 71% aligned with human ones. Applying the prototype implementation to 315 user requests resulted in an average time reduction of 9.2 minutes per request. ESSMArT helps to make ticket management faster and with reduced effort for human experts. ESSMArT can help Brightsquid to (i) minimize the impact of staff turnover and (ii) shorten the cycle from an issue being reported to an assignment to a developer to fix it.

연구 동기 및 목표

• 사용자 요청의 종단 간 관리를 자동화하여 수동 작업과 해결 시간을 줄이기.
• 티켓 처리 과정에서 전문 지식에 의존하는 정도를 줄여 인사 유지를 최소화하기.
• 개발자 대응이 필요한 티켓을 사전에 예측하여 요청 승격의 효율성을 높이기.
• 사용자 요청에서 자동으로 정확하고 개발자 전용 티켓 제목 및 내용을 생성하기.
• 업무 부담과 전문성에 기반해 적절한 개발자에게 티켓을 할당하여 작업 라우팅 효율성 향상하기.

제안 방법

• 문맥 기반 데이터로 훈련된 추출적 텍스트 요약 기법을 활용해 사용자 요청을 간결한 요약으로 압축하기.
• 대화 기록과 추출적 요약을 조합한 데이터를 기반으로, 특정한 지도 학습 기반 모델인 Random Forest를 사용해 요청이 개발 승격이 필요한지 예측하기.
• 요약된 문맥 기반 입력을 바탕으로 자연어 생성 기법을 활용해 티켓 제목과 내용 생성하기.
• 가용성과 기술 역량 일치도를 고려해 가용한 개발자에게 티켓을 동적으로 할당하는 모듈 구현하기.
• 모든 구성 요소를 통합된 파이프라인으로 통합해 사용자 요청 관리의 종단 간 자동화 구현하기.
• Brightsquid와 Secure-Mail에서 수집한 내부 데이터 4,114건을 사용해 방법을 검증하고, 제안 품질에 대한 외부 평가 실시하기.

실험 결과

연구 질문

• RQ1 문맥 기반 데이터로 훈련된 추출적 요약 기법은 소프트웨어 지원 환경에서 사용자 요청을 압축하는 데 얼마나 효과적인가?
• RQ2 사용자 요청이 개발 승격이 필요한지 예측하는 데 가장 우수한 성능을 보이는 기계 학습 모델은 무엇인가?
• RQ3 ESSMArT가 생성한 티켓 제목과 내용은 인간이 생성한 것과 얼마나 일치하는가?
• RQ4 ESSMArT를 활용해 사용자 요청 관리 프로세스를 자동화하면 얼마나 많은 시간을 절감할 수 있는가?
• RQ5 ESSMArT는 사용자 요청 처리 과정에서 전문가의 판단에 의존하는 정도를 줄여 인사 유형의 영향을 최소화할 수 있는가?

주요 결과

• 문맥 기반 데이터를 기반으로 한 지도 학습 기반 요약 기법이 일반적 또는 비지도 접근 방식보다 우수한 성능을 보였다.
• 대화 기록과 추출적 요약을 조합한 데이터를 기반으로 훈련된 Random Forest 모델이 승격 예측에서 최고의 성능을 기록했으며, 정밀도는 0.9, 재현율은 0.55를 달성했다.
• 외부 평가 결과, ESSMArT의 티켓 생성 제안이 인간의 제안과 71% 일치했으며, 실용적 사용성 측면에서 높은 수준임을 시사했다.
• 프로토타입 구현을 통해 평균 요청 처리 시간이 9.2분 감소해 처리 효율성이 크게 향상되었다.
• ESSMArT는 전문 지식에 대한 의존도를 줄여 지원 팀의 인사 유형 영향을 효과적으로 완화할 수 있었다.
• 요청 제보에서 개발자 할당까지의 사이클 시간을 단축시켜 전반적인 반응성과 소프트웨어 품질 향상에 기여했다.