[논문 리뷰] The Road to Success: Assessing the Fate of Linguistic Innovations in Online Communities

Marco Del Tredici, Raquel Fernández|arXiv (Cornell University)|2018. 06. 15.

Language and cultural evolution참고 문헌 29인용 수 26

한 줄 요약

이 연구는 인터넷 스ラン글과 같은 언어적 혁신이 온라인 커뮤니티에서 어떻게 퍼지는지 사용자 사회적 역할과 유대 강도를 분석함으로써 이를 조사한다. 약 1,000만 명의 사용자를 포함하는 대규모 데이터셋(20개 포럼)을 사용하여, 혁신자들은 중심적인 위치에 있지만 유대 강도는 낮은 것으로 나타났고, 강한 유대 관계를 맺은 사용자들이 혁신의 퍼짐에 핵심적인 역할을 한다. 첫 6~12개월 간의 유대 강도 데이터는 성공 여부를 예측하는 데 F1 점수 최대 0.76까지 기록했으며, 기준 모델보다 유의미하게 뛰어난 성능을 보였다.

ABSTRACT

We investigate the birth and diffusion of lexical innovations in a large dataset of online social communities. We build on sociolinguistic theories and focus on the relation between the spread of a novel term and the social role of the individuals who use it, uncovering characteristics of innovators and adopters. Finally, we perform a prediction task that allows us to anticipate whether an innovation will successfully spread within a community.

연구 동기 및 목표

• 온라인 커뮤니티에서 어휘적 혁신이 퍼지는 데 배경이 되는 사회적 역학을 이해하기 위해.
• 밀로이의 사회언어학 이론(약한 유대와 혁신 확산)이 대규모 온라인 데이터에서 적용 가능한지 테스트하기 위해.
• 언어적 혁신이 커뮤니티 내에서 성공적으로 퍼질지를 예측하는 모델을 개발하기 위해.
• 유대 강도와 중심성 측정치를 사용하여 혁신자와 수용자의 사회적 역할을 특성화하기 위해.

제안 방법

• 이론적으로 동기가 부여된 새로운 유대 강도 측정법을 구축하여 상호작용 빈도와 네트워크 중심성을 결합하여 온라인 포럼 내 사회적 관계를 정량화하였다.
• 4~8년에 걸쳐 20개의 주제 중심 온라인 포럼에서 종단적 데이터를 분석하여 약 8,000개의 어휘적 혁신(예: 약어, 청각적 철자법)을 추적하였다.
• 장기적 수용율을 기반으로 혁신의 성공 여부를 정의하였으며, 커뮤니티 규범이 되는 용어와 사라지는 용어를 구분하였다.
• 이항 분류 작업을 수행하여, 용어 사용 초기 3개월, 6개월, 또는 12개월 간의 유대 강도 변화 경로를 사용해 혁신의 성공 여부를 예측하는 데 랜덤 포레스트 분류기를 활용하였다.
• 100회 반복된 교차검증을 실시하였으며, 훈련 세트 90%와 테스트 세트 10%를 사용하여 기준 모델과 성능을 비교하였다.
• 상호작용 데이터, 확산 경로, 사용자 유대 강도를 추출 및 처리하였으며, 재현 가능성을 위해 데이터셋과 코드를 공개하였다.

실험 결과

연구 질문

• RQ1 약한 유대를 가졌지만 중심성은 높은 사용자들이 온라인 커뮤니티에서 신규 어휘적 용어를 처음으로 도입하는 경향이 있는가?
• RQ2 용어가 도입된 후 강한 유대 관계를 맺은 사용자들은 언어적 혁신의 확산에 어떻게 기여하는가?
• RQ3 어떤 용어를 도입한 사용자의 초기 유대 강도 패턴은 그 용어가 커뮤니티 내에서 성공적으로 퍼질 수 있는지 예측할 수 있는가?
• RQ4 다양한 온라인 커뮤니티 간에 혁신 확산 패턴은 얼마나 일관된가?
• RQ5 초기 몇 달 간의 유대 강도 데이터는 장기적인 혁신 성공 여부를 얼마나 잘 예측할 수 있는가?

주요 결과

• 신규 어휘적 용어의 혁신자들은 커뮤니티 네트워크에서 매우 중심적인 위치에 있지만, 접촉자들과 비교해 상대적으로 낮은 유대 강도를 유지한다. 이는 밀로이의 약한 유대 혁신자 이론을 지지한다.
• 강한 유대 관계를 맺은 사용자들은 커뮤니티의 소수를 차지하지만, 초기 도입 이후 클리크 내부에서 확산을 이끄는 내부 전파자 역할을 하며 핵심적인 기여를 한다.
• 초기 6개월 간의 유대 강도 데이터만을 사용해도 혁신 성공 예측에 평균 F1 점수 0.68를 기록했으며, 기준 모델의 0.58보다 유의미하게 높았다.
• 더 긴 관찰 창을 사용할수록 성능이 향상되어, 용어 사용 초기 1년 또는 2년 간의 데이터를 활용할 경우 평균 F1 점수 0.76에 도달했다.
• 6개월 데이터를 사용했을 때 20개 서브레딧 중 18개에서 유대 강도의 예측 능력이 일관되게 유지되어 다양한 온라인 커뮤니티에서의 강건성을 입증하였다.
• 본 연구는 밀로이의 이론(약한 유대 혁신자와 강한 유대 확산자)이 대규모 온라인 언어 커뮤니티에도 적용 가능함을 확인하였다.