[논문 리뷰] Linguistic Analysis of Toxic Behavior in an Online Video Game

Haewoon Kwak, Jeremy Blackburn|arXiv (Cornell University)|2014. 10. 20.

Digital Games and Media참고 문헌 7인용 수 28

한 줄 요약

이 연구는 590,311건의 리그 오브 레전드 트라이뷰널 사례에서 게임 내 대화 로그를 분석하여 유해 행동의 언어적 지표를 규명한다. 메시지 빈도와 어휘 사용의 시간적 분석을 통해, 해로운 플레이어는 대화 패턴이 이중성(이중 피크)을 보이며, 경기의 40-60% 지점 근처에서 협력적 언어에서 공격적 언어로 전환하고, 긍정적, 전략적, 사과 표현을 사용하지 않음을 확인한다. 이는 유해 행동으로의 전환을 조기에 탐지할 수 있는 언어적 흔적을 제공한다.

ABSTRACT

In this paper we explore the linguistic components of toxic behavior by using crowdsourced data from over 590 thousand cases of accused toxic players in a popular match-based competition game, League of Legends. We perform a series of linguistic analyses to gain a deeper understanding of the role communication plays in the expression of toxic behavior. We characterize linguistic behavior of toxic players and compare it with that of typical players in an online competition game. We also find empirical support describing how a player transitions from typical to toxic behavior. Our findings can be helpful to automatically detect and warn players who may become toxic and thus insulate potential victims from toxic playing in advance.

연구 동기 및 목표

• 온라인 다중접속 게임에서의 해로운 행동의 언어적 구성요소를 이해하기 위해, 특히 리그 오브 레전드와 같은 경쟁적 팀 기반 환경을 대상으로 한다.
• 경기 전반에 걸쳐 해로운 플레이어와 일반 플레이어 간의 의사소통 패턴이 어떻게 다른지 규명한다.
• 게임 내 대화 로그만을 사용하여 일반적인 행동에서 해로운 행동으로의 시간적 전이점을 탐지한다.
• 유해 행동으로의 악화를 조기에 경고할 수 있는 시스템을 위한 실증적 근거를 제공한다.
• 해로운 행동과 허용 가능한 경쟁적 농담을 식별할 수 있는 특징적인 언어적 서명을 구분한다.

제안 방법

• 북미 지역의 590,311건의 트라이뷰널 사례를 수집하여, 해로운 행동과 일반 플레이어를 포함한 총 210만 건의 경기에서 대화 로그를 확보했다.
• 해로운 플레이어의 2,400만 건, 일반 플레이어의 3,300만 건의 메시지를 추출하고, 게임 내 대화에만 집중하여 비교 분석했다.
• 시간적 대화량 패턴을 분석하여, 경기 초반과 종료 시점에 피크를 보이는 이중성 분포를 규명했다.
• 해로운 플레이어와 일반 플레이어가 사용하는 특징적인 유니그램 및 바이그램을 식별하여 행동 서명으로 활용했다.
• 일반적인 유니그램의 마지막 사용 시간을 정규화하여 행동의 분리 시점을 탐지했다.
• 어휘 사용의 시간적 분석을 통해 언어적 행동의 단계 전환, 특히 긍정적 및 전략적 의사소통의 중단을 식별했다.

실험 결과

연구 질문

• RQ1 경기 내에서 해로운 플레이어와 일반 플레이어 간의 게임 내 의사소통 빈도와 시기적 특징은 어떻게 다를까?
• RQ2 특정 단어나 문장 등 어떤 언어적 특징(예: 특정 어휘 또는 표현)이 해로운 플레이어와 일반 플레이어를 구분하는가?
• RQ3 경기의 어느 시점에서 플레이어의 의사소통 행동이 일반적인 행동에서 해로운 행동으로 전환되는가?
• RQ4 경기 진행에 따라 해로운 플레이어가 덜 사용하는 어휘 유형(예: 사과, 칭찬, 전략적 어휘)은 무엇인가?
• RQ5 게임 내 행동 데이터에 의존하지 않고도, 대화 로그의 언어 패턴만으로도 해로운 행동으로의 전환이 탐지될 수 있는가?

주요 결과

• 해로운 플레이어는 경기 초반과 종료 시점에 피크를 보이는 이중성 대화량 패턴을 보이며, 일반 플레이어는 팀 협업을 위해 초기 단계에 더 일관되게 대화한다.
• 해로운 플레이어는 메시지 수가 38% 적지만, 고유 토큰 수가 13% 적어, 반복적이고 제한된 어휘를 사용함을 나타낸다.
• 해로운 플레이어는 평균 3.139단어를, 일반 플레이어는 평균 2.732단어를 사용하여 더 긴 메시지를 보내며, 이는 공격적 또는 정서적으로 강한 의사소통을 의미한다.
• 해로운 플레이어는 경기 중후반에 'gj'(좋은 일), 'sorry'(미안해), 'brb'(잠시만 기다려줘)와 같은 긍정적 언어를 사용하지 않으며, 팀 유대감의 붕괴를 시사한다.
• 'ward'(워드), 'blue'(블루), 'ult'(ultimate), 'come'(들어와)와 같은 전략적 어휘는 해로운 플레이어가 초기에 사용하지만 중반 경기부터 사용을 중단하여 협력 의도의 상실을 나타낸다.
• 일반적인 유니그램의 마지막 사용 시간 차이를 분석한 결과, 일반 플레이어는 해로운 플레이어보다 협력적이고 긍정적인 언어를 훨씬 오래 유지함을 확인했으며, 이는 탐지 가능한 행동 전환 흔적을 제공한다.