[논문 리뷰] Slack Channels Ecology in Enterprises: How Employees Collaborate Through Group Chat.

Dakuo Wang, Haoyu Wang외 3명|arXiv (Cornell University)|2019. 06. 04.

Team Dynamics and Performance참고 문헌 14인용 수 8

한 줄 요약

이 연구는 다국적 IT 기업의 R&D 부서에서 Slack 그룹 채팅을 사용하는 방식을 분석하여 정성적 코드화를 통해 9개의 채널 유형을 특정하고, 21개의 기능을 포함한 의사소통 스타일 측정 척도를 개발한다. 기계학습을 활용해 모델이 높은 정확도로 채널을 분류하며, 특정 의사소통 패턴이 프로젝트 팀 성과와 관련이 있음을 밝혀내어 기업 협업에 대한 데이터 기반 통찰을 제공한다.

ABSTRACT

Despite the long history of studying instant messaging usage in organizations, we know very little about how today's people participate in group chat channels and interact with others. In this short note, we aim to update the existing knowledge on how group chat is used in the context of today's organizations. We have the privilege of collecting a total of 4300 publicly available group chat channels in Slack from an R\&D department in a multinational IT company. Through qualitative coding of 100 channels, we identified 9 channel categories such as project based channels and event channels. We further defined a feature metric with 21 features to depict the group communication style for these group chat channels, with which we successfully trained a machine learning model that can automatically classify a given group channel into one of the 9 categories. In addition, we illustrated how these communication metrics could be used for analyzing teams' collaboration activities. We focused on 117 project teams as we have their performance data, and further collected 54 out of the 117 teams' Slack group data and generated the communication style metrics for each of them. With these data, we are able to build a regression model to reveal the relationship between these group communication styles and one indicator of the project team performance.

연구 동기 및 목표

• 현대 기업의 직원들이 Slack과 같은 그룹 채팅 플랫폼을 협업에 어떻게 사용하는지 이해하기 위해.
• 실제 기업 환경에서 반복적으로 나타나는 Slack 채널 유형을 식별하고 분류하기 위해.
• 채널 간 의사소통 스타일을 측정하는 정량적 척도를 개발하기 위해.
• 의사소통 특징을 기반으로 새로운 채널를 사전에 정의된 카테고리로 분류하는 기계학습 모델을 구축하기 위해.
• 실증 데이터를 활용해 의사소통 스타일과 프로젝트 팀 성과 간의 관계를 분석하기 위해.

제안 방법

• 다국적 IT 기업의 R&D 부서에서 공개된 4,300개의 Slack 채널을 수집하였다.
• 100개의 채널에 대해 정성적 코드화를 수행하여 프로젝트 기반 및 이벤트 기반 채널을 포함한 9개의 고유한 채널 유형을 식별하였다.
• 채널 상호작용의 시간적, 언어적, 구조적 패턴을 캡처하는 21개의 기능을 포함한 의사소통 스타일 측정 척도를 정의하였다.
• 21개의 기능 척도를 사용하여 지도 학습 모델을 훈련시켜 새로운 채널를 9개의 카테고리 중 하나로 분류하였다.
• 117개의 프로젝트 팀 중 54개 팀의 Slack 데이터를 확보하고 각 팀에 대해 의사소통 스타일 척도를 계산하였다.
• 팀 수준의 의사소통 스타일과 성과 지표 간의 관계를 분석하기 위해 회귀 모델을 구축하였다.

실험 결과

연구 질문

• RQ1 대규모 기업 조직에서 직원들이 주로 사용하는 Slack 채널의 주요 유형은 무엇인가요?
• RQ2 다른 유형의 Slack 채널을 구분하는 데 가장 효과적인 의사소통 특징는 무엇인가요?
• RQ3 의사소통 패턴을 기반으로 기계학습 모델이 사전에 정의된 카테고리에 정확하게 Slack 채널을 분류할 수 있는 정도는 어느 정도인가요?
• RQ4 특정 그룹 의사소통 스타일이 프로젝트 팀 성과와 어떻게 관련이 있는가요?

주요 결과

• 프로젝트 기반, 이벤트 기반, 복수 기능 간 협업 채널을 포함한 9개의 고유한 채널 유형이 식별되었다.
• 21개의 기능을 포함한 의사소통 스타일 척도는 기계학습을 활용해 Slack 채널의 정확한 분류를 가능하게 하였다.
• 기계학습 모델은 높은 분류 정확도를 달성하여 제안된 척도의 구분 능력을 입증하였다.
• 메시지 빈도, 응답 지연, 주제 다양성과 같은 특정 의사소통 패턴이 팀 성과와 유의미하게 관련이 있었다.
• 더 체계적이고 적시에 의사소통하는 팀은 성과 지표로 측정했을 때 더 높은 성과를 보였다.
• 이 연구는 그룹 채팅 데이터에서 유도된 의사소통 스타일 척도가 팀 효과성의 예측 지표로 활용될 수 있음을 입증한다.