[논문 리뷰] On the Stability of Online Language Features: How Much Text do you Need to know a Person?

Eben M. Haber|arXiv (Cornell University)|2015. 04. 24.

Authorship Attribution and Profiling참고 문헌 8인용 수 9

한 줄 요약

이 연구는 온라인 텍스트에서 유도된 언어적 특징이 트위터, 이메일, 블로그, 포럼 등 다양한 플랫폼 간에 어떻게 안정적인지 조사하며, LIWC, Big5, 기본 인간 가치를 사용하여 성격 특성을 신뢰성 있게 추론하기 위해 필요한 최소 텍스트량을 규명한다. 결과적으로 개인당 약 1,000~2,000단어에서 언어적 특징이 안정화되며, 플랫폼 간에 상당한 변동성이 있음을 확인하여 성격 추론 모델의 미디어별 최적화가 필수적임을 시사한다.

ABSTRACT

In recent years, numerous studies have inferred personality and other traits from people's online writing. While these studies are encouraging, more information is needed in order to use these techniques with confidence. How do linguistic features vary across different online media, and how much text is required to have a representative sample for a person? In this paper, we examine several large sets of online, user-generated text, drawn from Twitter, email, blogs, and online discussion forums. We examine and compare population-wide results for the linguistic measure LIWC, and the inferred traits of Big5 Personality and Basic Human Values. We also empirically measure the stability of these traits across different sized samples for each individual. Our results highlight the importance of tuning models to each online medium, and include guidelines for the minimum amount of text required for a representative result.

연구 동기 및 목표

• LIWC, Big5 성격, 기본 인간 가치를 통해 측정된 언어적 특징이 다양한 온라인 텍스트 소스 간에 어떻게 안정적인지 평가하기.
• 개인당 성격 특성의 대표적이고 안정적인 추정치를 확보하기 위해 필요한 최소 텍스트량을 규명하기.
• 트위터, 이메일, 블로그, 포럼와 같은 다양한 온라인 미디어 간 언어적 특징의 변동성을 평가하기.
• 특정 온라인 플랫폼에 최적화된 성격 추론 모델을 위한 실증적 지침을 제공하기.

제안 방법

• 연구는 트위터, 이메일, 블로그, 토론 포럼 등 네 가지 온라인 플랫폼으로부터 대규모 사용자 생성 텍스트를 수집하였다.
• 언어적 특징은 단어 빈도와 의미 범주를 분석하기 위해 LIWC(Linguistic Inquiry and Word Count) 도구를 사용하여 추출하였다.
• Big5 성격과 기본 인간 가치 기반의 기존 모델을 활용해 LIWC 출력 결과를 바탕으로 성격 특성을 추론하였다.
• 개인의 점진적으로 증가하는 텍스트 샘플에 대해 각각의 신뢰도를 측정하기 위해 내적 상관관계 계수(ICC)를 계산하여 특징의 안정성을 측정하였다.
• 특성 안정성은 100단어에서 10,000단어까지의 다양한 텍스트 크기와 플랫폼 간 비교를 통해 수렴점(수렴 시점)을 규명하기 위해 분석되었다.
• 통계 모델링을 통해 ICC > 0.8일 때 성격 추정치가 안정화되는 최소 텍스트 길이를 규명하였다.

실험 결과

연구 질문

• RQ1 트위터, 이메일, 블로그, 포럼와 같은 다양한 플랫폼 간에 온라인 텍스트에서 유도된 언어적 특징은 얼마나 안정적인가?
• RQ2 개인의 성격 특성에 대한 안정적이고 대표적인 추정치를 확보하기 위해 필요한 최소 텍스트량은 얼마인가?
• RQ3 LIWC 기반 특징의 안정성 특성은 온라인 미디어 간에 어떻게 다를까?
• RQ4 텍스트 샘플 크기가 증가함에 따라 성격 추론(Big5 및 기본 인간 가치)은 얼마나 일관성 유지되는가?
• RQ5 모든 온라인 플랫폼에 동일한 텍스트 길이 기준을 적용할 수 있는가, 이는 신뢰성 있는 성격 프로필링을 위한가?

주요 결과

• LIWC에서 유도된 언어적 특징은 다양한 온라인 플랫폼 간에 안정성에 상당한 변동성을 보이며, 트위터는 이메일 및 블로그에 비해 낮은 안정성을 보였다.
• Big5 및 기본 인간 가치 기반의 성격 특성 추정치는 개인당 약 1,000~2,000단어에서 안정화되며, 이 임계점에서 ICC 값이 0.8를 초과한다.
• 이메일 및 블로그 텍스트의 안정성은 트위터에 비해 항상 높았으며, 이는 신뢰할 수 있는 추론을 위해 플랫폼별 최적화가 필수적임을 시사한다.
• 안정된 성격 추론을 위한 최소 텍스트 길이는 플랫폼에 따라 달라지며, 트위터는 장문의 미디어에 비해 더 많은 텍스트가 필요로 한다.
• 이 연구는 대부분의 온라인 미디어에서 안정적이고 대표적인 성격 프로필을 확보하기 위해 1,000~2,000단어를 실용적 기준으로 규명하였다.
• 결과적으로, 플랫폼 간에 동일한 텍스트 길이 기준을 적용할 경우, 특히 단문형 플랫폼인 트위터에서는 신뢰할 수 없는 성격 추론이 초래됨을 입증하였다.