[논문 리뷰] Characterizing English Variation across Social Media Communities with BERT

Li Lucy, David Bamman|arXiv (Cornell University)|2021. 02. 12.

Digital Communication and Language참고 문헌 74인용 수 4

한 줄 요약

이 논문은 474개의 Reddit 커뮤니티에서 영어 사용의 어휘적 및 의미적 변별성을 탐지하기 위해 BERT 기반 방법을 제안하며, 특히 어휘의 의미에서 뚜렷한 언어적 특성을 보이는 커뮤니티는 중간 규모이며, 충성도가 높고 높은 참여도를 보이는 사용자들이 서로 密집한 상호작용 네트워크를 형성하고 있음을 보여준다. 이 방법은 어휘 유형의 특이성과 의미 수준의 임베딩을 결합하여 커뮤니티별 언어를 식별하며, 사용자가 만든 어휘사전과 사회언어학 이론을 통해 연구 결과를 검증한다.

ABSTRACT

Much previous work characterizing language variation across Internet social groups has focused on the types of words used by these groups. We extend this type of study by employing BERT to characterize variation in the senses of words as well, analyzing two months of English comments in 474 Reddit communities. The specificity of different sense clusters to a community, combined with the specificity of a community's unique word types, is used to identify cases where a social group's language deviates from the norm. We validate our metrics using user-created glossaries and draw on sociolinguistic theories to connect language variation with trends in community behavior. We find that communities with highly distinctive language are medium-sized, and their loyal and highly engaged users interact in dense networks.

연구 동기 및 목표

• 단순어휘 빈도를 넘어서 온라인 커뮤니티에서의 언어적 변별성을 측정하기 위한 계산적 방법을 개발하는 것.
• 어휘 유형 외에도 어휘의 의미가 사회적 미디어 커뮤니티 간에 어떻게 변별되는지 조사하는 것.
• 사용자가 만든 어휘사전과 사회언어학 이론을 활용해 제안된 지표를 검증하는 것.
• 사용자 행동, 네트워크 구조, 커뮤니티별 언어 사용 간의 관계를 탐색하는 것.
• 토론 주제 또는 사용자 수준의 특성 중 어떤 것이 언어의 독특함을 더 잘 예측하는지 규명하는 것.

제안 방법

• 저자들은 474개의 Reddit 커뮤니티에서 단어의 맥락에 맞는 BERT 임베딩을 추출하여 맥락 속에서 다양한 어휘의 의미를 포착한다.
• 어휘 유형 빈도와 BERT 임베딩 공간에서의 의미 수준 군집화를 기반으로 커뮤니티 특이성 점수(F)를 계산한다.
• 의미 군집은 BERT 임베딩에 대한 t-SNE 시각화와 k-means 군집화를 통해 식별되며, 'python'과 같은 목표 어휘의 경우 적용된다.
• 기존 연구에서 제안한 PMI 기반 특이성 지표와 같은传통적인 어휘 유형 특이성 지표와 BERT 기반의 의미 변별성 간 비교를 수행한다.
• OLS 회귀 모델을 사용해 사용자 기반 특성(예: 활동 수준, 네트워크 밀도)과 토론 주제 카테고리가 언어적 독특함(F 점수)에 미치는 영향을 테스트한다.
• 57개의 Reddit 커뮤니티에서 사용자가 만든 어휘사전을 활용해 BERT로 식별된 의미 군집이 커뮤니티에서 정의한 전문어어휘와 일치하는지 검증한다.

실험 결과

연구 질문

• RQ1 어떤 온라인 커뮤니티 간 어휘의 의미가 어떻게 변별되는가? 그리고 BERT는 이러한 변별성을 효과적으로 포착할 수 있는가?
• RQ2 사용자 행동과 네트워크 구조는 온라인 커뮤니티에서 언어의 독특함을 얼마나 잘 예측하는가?
• RQ3 토론 주제(예: 기술, 비디오 게임, 취미)가 사용자 수준의 특성보다 언어 변별성에 더 큰 영향을 미치는가?
• RQ4 BERT로 식별된 의미 군집은 커뮤니티에서 정의한 어휘사전과 얼마나 잘 일치하는가?
• RQ5 높은 언어적 독특함을 보이는 커뮤니티는 더 중간 규모이며, 충성도가 높고 밀집한 상호작용 네트워크를 형성하는가?

주요 결과

• 가장 높은 언어적 독특함(F 점수)을 보이는 커뮤니티는 가장 크거나 가장 작은 커뮤니티가 아니라 중간 규모이다.
• 높은 참여도와 충성도를 보이는 사용자들이 언어적으로 독특한 커뮤니티에 더 많이 존재하며, 이들은 서로 밀집한 상호작용 네트워크를 형성한다.
• 사용자 행동을 통제한 후 네트워크 밀도는 언어적 변별성에 부정적인 영향을 미치며, 이는 이전에 관찰된 긍정적 영향이 관련된 특성들에 의해 오염된 것임을 시사한다.
• 토론 주제 관련 특성(예: 기술, 비디오 게임, 취미)은 언어적 독특함과 관련이 있지만, 사용자 행동이 더 강력한 예측 변수로 작용한다.
• 어휘 유형과 의미 특이성의 조합인 F 점수는 사용자가 만든 어휘사전과 강력한 일치를 보이며, 이는 제안된 방법이 커뮤니티 전용 전문어어휘를 탐지하는 데 성공했음을 검증한다.
• BERT 임베딩은 다의어어휘(예: 'python'을 프로그래밍 언어로도, 우주선으로도)의 다양한 의미를 성공적으로 분리하며, 커뮤니티 간으로 의미 군집이 임베딩 공간에서 명확히 구분된다.