[논문 리뷰] My Team Will Go On: Differentiating High and Low Viability Teams through Team Interaction

Hancheng Cao, Vivian Yang외 6명|arXiv (Cornell University)|2020. 10. 14.

Complex Network Analysis Techniques참고 문헌 40인용 수 7

한 줄 요약

이 연구는 원격 팀에서 10분간의 텍스트 상호작용에서 언어적 특징(예: 배타적 언어('but', 'except') 및 제2인칭 대명사('you'))를 사용하여 팀의 지속 가능성(가용성)을 예측하는 기계학습 모델을 개발한다. 이 모델은 상위 10퍼센트의 지속 가능성 팀을 구분하는 데 최대 0.92 AUC ROC를 기록하며, 초기 상호작용 패턴이 장기적인 팀 지속 가능성에 신뢰성 있게 신호를 보낸다는 것을 보여준다.

ABSTRACT

Understanding team viability -- a team's capacity for sustained and future success -- is essential for building effective teams. In this study, we aggregate features drawn from the organizational behavior literature to train a viability classification model over a dataset of 669 10-minute text conversations of online teams. We train classifiers to identify teams at the top decile (most viable teams), 50th percentile (above a median split), and bottom decile (least viable teams), then characterize the attributes of teams at each of these viability levels. We find that a lasso regression model achieves an accuracy of .74--.92 AUC ROC under different thresholds of classifying viability scores. From these models, we identify the use of exclusive language such as `but' and `except', and the use of second person pronouns, as the most predictive features for detecting the most viable teams, suggesting that active engagement with others' ideas is a crucial signal of a viable team. Only a small fraction of the 10-minute discussion, as little as 70 seconds, is required for predicting the viability of team interaction. This work suggests opportunities for teams to assess, track, and visualize their own viability in real time as they collaborate.

연구 동기 및 목표

• 성과 지표 외의 요소를 넘어서 장기적인 팀 지속 가능성을 예측할 수 있는 초기 언어적 신호를 규명하는 것.
• 일般적으로 후행적으로 자가 보고 방식으로 측정되는 실시간, 사전적 팀 지속 가능성 평가의 격차를 메우는 것.
• 짧은 상호작용(최소 70초)이 팀 지속 가능성 수준을 분류하는 데 충분한 정보를 포함하고 있는지 탐색하는 것.
• 컴퓨터 기반 모델을 활용하여 고지속성, 중간, 저지속성 팀을 구분하는 행동 패턴을 분리하는 것.
• 협업 중 팀의 지속 가능성 신호를 식별함으로써 실시간 모니터링 및 간섭 기회를 제공하는 것.

제안 방법

• 원격 온라인 팀에서 수행하는 공동 과제를 수행한 669개의 10분간의 텍스트 기반 팀 상호작용을 수집하였다.
• 조직 행동 문헌을 활용하여 주제 일치도( TF-IDF 벡터의 코사인 유사도), 정서( LIWC), 심리적 안전성( Mechanical Turk 코드로 코딩) 등의 특징을 설계하였다.
• 팀 지속 가능성 분류를 위한 가장 예측 능력이 높은 특징을 식별하기 위해 라소( L1-정규화) 회귀를 적용하였다. 세 가지 임계값(상위 10퍼센트, 중앙 분할, 하위 10퍼센트)을 기준으로 분석하였다.
• 다양한 분류기 모델을 훈련 및 평가하였으며, 라소 회귀가 모든 임계값에서 가장 높은 AUC ROC 성능을 기록하였다.
• 지속 가능성에 특화된 언어적 신호를 분리하기 위해 팀 성과를 제어하였다.
• 시간적 동역학을 분석하기 위해 상호작용의 첫 70초만을 사용하여 예측 정확도를 테스트하였다.

실험 결과

연구 질문

• RQ1 원격 팀의 짧고 초기 단계의 텍스트 상호작용으로부터 팀의 지속 가능성을 예측할 수 있는가?
• RQ2 고지속성 팀과 저지속성 팀을 가장 강하게 구분하는 언어적 및 상호작용 특징은 무엇인가?
• RQ3 지속 가능성 임계값(상위 10퍼센트, 중앙 분할, 하위 10퍼센트)에 따라 예측 특징이 어떻게 달라지는가?
• RQ4 팀 성과를 제어할 경우 초기 상호작용 패턴의 예측 능력이 유연하게 유지되는가?
• RQ5 자동화된 언어 분석을 통해 팀 대화의 언어적 특징을 기반으로 실시간으로 지속 가능성을 신뢰성 있게 평가할 수 있는가?

주요 결과

• 라소 회귀 모델은 지속 가능성 상위 10퍼센트 팀 분류에 대해 AUC ROC 0.92를 기록하였으며, 중앙 분할에선 0.75, 하위 10퍼센트에선 0.74를 기록하였다.
• 배타적 언어(예: 'but', 'except', 'either')와 제2인칭 대명사(예: 'you', 'your')의 사용이 모든 임계값에서 고지속성 팀 예측에 가장 높은 예측 능력을 보였다.
• 가장 지속 가능한 팀은 평균 독해 수준이 높고, 더 많은 비꼬는 유머와 불안 관련 어휘를 사용하여 미묘하고 맥락에 민감한 의사소통를 보였다.
• 하위 10퍼센트 팀은 LIWC 기준으로 슬픔을 나타내는 어휘 사용 빈도가 높고, 더 극단적인 정서 표현을 보여, 지속 가능성 수준이 낮음을 시사하였다.
• 초기 팀 상호작용의 70초만으로도 높은 예측 정확도를 달성할 수 있었으며, 이는 조기 감지가 가능하다는 것을 의미한다.
• 상호작용 패턴과 지속 가능성 간의 관계는 시간이 지나도 일관되었지만, 신규 팀과 재결합 팀은 서로 다른 행동 역학을 보였다.