[논문 리뷰] The Proficiency-Congruency Dilemma: Virtual Team Design and Performance in Multiplayer Online Games

Jooyeon Kim, Brian Keegan외 2명|arXiv (Cornell University)|2015. 12. 28.

Team Dynamics and Performance참고 문헌 62인용 수 5

한 줄 요약

이 연구는 다중 사용자 온라인 전략 게임(MOBA)에서의 가상 팀 설계에 있어서 전문성-일치도 딜레마를 다루며, 336만 명의 플레이어 데이터를 바탕으로 리그 오브 레전드의 데이터를 활용한다. 연구 결과, 팀 성과는 역할 일치도보다 플레이어의 전문성에 의해 크게 향상되며, 숙련된 플레이어는 역할 보완성에 대한 더 뛰어난 정신 모델을 보이며, 이는 가상 조직의 게임 디자인과 팀 편성에 통찰을 제공한다.

ABSTRACT

Multiplayer online battle arena games provide an excellent opportunity to study team performance. When designing a team, players must negotiate a extit{proficiency-congruency dilemma} between selecting roles that best match their experience and roles that best complement the existing roles on the team. We adopt a mixed-methods approach to explore how users negotiate this dilemma. Using data from extit{League of Legends}, we define a similarity space to operationalize team design constructs about role proficiency, generality, and congruency. We collect publicly available data from 3.36 million users to test the influence of these constructs on team performance. We also conduct focus groups with novice and elite players to understand how players' team design practices vary with expertise. We find that player proficiency increases team performance more than team congruency. These findings have implications for players, designers, and theorists about how to recommend team designs that jointly prioritize individuals' expertise and teams' compatibility.

연구 동기 및 목표

• 플레이어가 MOBA에서 개인의 전문성에 기반해 챔피언을 선택하는 것과 팀 역할 일치도 사이에서 어떻게 상충 관계를 조율하는지 이해하기 위해.
• 숙련도 수준이 자가 구성된 가상 팀의 팀 설계 전략과 성과 결과에 어떻게 영향을 주는지 조사하기 위해.
• 대규모 게임 플레이 데이터를 활용하여 팀 편성의 역할 전문성, 일반성, 일치도에 대한 정량적 구성요소를 개발하고 검증하기 위해.
• 우수 플레이어와 초보자 플레이어가 정신 모델을 통해 전문성-일치도 딜레마를 어떻게 인식하고 극복하는지 질적 방법을 통해 탐색하기 위해.
• 가상 및 온라인 협업 환경에서 팀 성과를 향상시키기 위한 디자인 및 이론적 함의 제공하기 위해.

제안 방법

• 북미, 유럽, 한국에서 194만 건의 리그 오브 레전드 매치 데이터를 수집하고 분석하였으며, 이는 총 336만 명의 고유 플레이어를 포함한다.
• 챔피언 특성과 행동 데이터를 기반으로 유사도 공간을 구축하여 팀 설계 구성요소인 전문성, 일반성, 일치도를 정량화하였다.
• 혼합 방법론을 적용: 팀 설계 구성요소와 관련된 성과 지표의 정량적 분석에 더하여, 설문 조사(n=492)와 전문가 10명, 초보자 10명으로 구성된 포커스 그룹을 실시하였다.
• 기계 학습 및 데이터 마이닝 기법을 활용하여 전문성과 일치도에 따라 팀 성과를 모델링하고, 챔피언 선택 패턴과 팀 성과에 대한 패턴을 식별하였다.
• 상관관계 결과를 강화하기 위해 유사도 스코어 매칭 및 게임 랜덤화를 통한 자연 실험 식별과 같은 인과 추론 기법을 적용하였다.
• 서버 지역 간 비교 분석을 통해 북미, 유럽, 한국 간 팀 설계 관행과 성과의 지역적 차이를 평가하였다.

실험 결과

연구 질문

• RQ1 리그 오브 레전드에서 전문성을 우선시하는 팀이 역할 일치도를 우선시하는 팀보다 성과가 뛰어나나?
• RQ2 우수 플레이어는 초보자 플레이어와 비교해 전문성-일치도 딜레마를 어떻게 다르게 해결하는가?
• RQ3 플레이어들은 챔피언 선택 과정에서 팀 편성의 과제와 전략을 말로 표현하고 행동으로 어떻게 나타내는가?
• RQ4 팀 일치도가 성과를 얼마나 잘 예측할 수 있으며, 이 관계는 지역과 전문성 수준에 따라 어떻게 달라지는가?
• RQ5 팀 설계의 정신 모델은 팀 성과에 어떤 역할을 하는가? 그리고 플레이어의 숙련도가 증가함에 따라 이 모델은 어떻게 변화하는가?

주요 결과

• 플레이어의 전문성은 팀 성과에 역할 일치도보다 더 강력한 긍정적 영향을 미치며, 개인의 기량 수준이 높을수록 성과가 단조롭게 증가한다.
• 팀 일치도는 기대와는 반대로 성과에 단조롭게 증가하는 경향을 보였으며, 이는 역할 유사성에 대해 페널티를 주고 다양성을 보상하는 게임 메커니즘 때문일 가능성이 높다.
• 숙련된 플레이어는 역할 보완성에 대한 훨씬 더 정교한 정신 모델을 보이며, 게임 내 협업 능력과는 무관하게 더 나은 팀 설계 결정을 내릴 수 있었다.
• 초보자 플레이어는 종종 팀의 필요성을 넘어서 개인의 전문성을 우선시하여 최적화되지 않은 팀 편성과 더 높은 좌절률을 경험했다.
• 초기 팀 편성이 승리 확률에 강한 경로 의존성을 보이며, 성공을 위한 핵심은 초기 설계 선택에 달려 있음을 시사한다.
• 북미, 유럽, 한국 간 팀 설계 선호도와 성과 결과에 측정 가능한 지역적 차이가 있으며, 이는 향후 교차 문화 분석이 필요하다.