[논문 리뷰] Community Question Answering Platforms vs. Twitter for Predicting Characteristics of Urban Neighbourhoods

Marzieh Saeidi, Alessandro Venerandi외 2명|arXiv (Cornell University)|2017. 01. 17.

Expert finding and Q&A systems참고 문헌 17인용 수 3

한 줄 요약

이 논문은 Yahoo! Answers, 커뮤니티 기반 질문-답변(QA) 플랫폼의 텍스트가 런던 지역의 실질적인 인구통계적 특성을 예측할 수 있는지 조사한다. 이를 위해 트위터 미크로블로그와 비교 분석을 수행한다. 사용자 생성 텍스트를 대상으로 자연어 처리(NLP) 및 회귀 모델을 적용한 결과, QA 텍스트는 평균 피어슨 상관계수 ρ = 0.54로 인구통계를 예측하며, 트위터(ρ = 0.53)보다 略적으로 뛰어난 성능을 보였다. 또한 두 플랫폼 간의 의미적 패턴이 뚜렷하게 다름을 확인: QA는 백과사전적인 지식을 제공하는 반면, 트위터는 현재의 사회문화적 경향을 반영한다.

ABSTRACT

In this paper, we investigate whether text from a Community Question Answering (QA) platform can be used to predict and describe real-world attributes. We experiment with predicting a wide range of 62 demographic attributes for neighbourhoods of London. We use the text from QA platform of Yahoo! Answers and compare our results to the ones obtained from Twitter microblogs. Outcomes show that the correlation between the predicted demographic attributes using text from Yahoo! Answers discussions and the observed demographic attributes can reach an average Pearson correlation coefficient of {ho} = 0.54, slightly higher than the predictions obtained using Twitter data. Our qualitative analysis indicates that there is semantic relatedness between the highest correlated terms extracted from both datasets and their relative demographic attributes. Furthermore, the correlations highlight the different natures of the information contained in Yahoo! Answers and Twitter. While the former seems to offer a more encyclopedic content, the latter provides information related to the current sociocultural aspects or phenomena.

연구 동기 및 목표

• 지리적 위치 정보가 없는 커뮤니티 기반 텍스트, 예를 들어 Yahoo! Answers와 같은 QA 플랫폼에서 생성된 텍스트가 도시 지역의 실질적인 인구통계적 특성을 예측할 수 있는지 평가하는 것.
• 런던 지역의 62개 인구통계적 특성에 대해 Yahoo! Answers 텍스트와 트위터 미크로블로그의 예측 성능을 비교하는 것.
• 예측 모델에서 최고 절댓값 계수를 가진 용어와 그에 대응하는 인구통계적 특성 간의 의미적 관계를 분석하는 것.
• 도시적 특성 모델링에서 QA 플랫폼(백과사전적 정보)과 소셜미디어(현재의 사회문화적 정보)의 정보 성격을 대비 분석하는 것.
• 지리적 위치 정보가 없는 상태에서도 QA 텍스트가 도시 계획 및 사회학적 분석에 강력한 예측 신호를 제공할 수 있음을 보여주는 것.

제안 방법

• 런던 지역에 관한 Yahoo! Answers의 토론 텍스트를 수집하고, 표준 자연어 처리(NLP) 기법을 사용해 전처리를 수행하였으며, 이는 토큰화, 불용어 제거, 어간 추출을 포함한다.
• TF-IDF 가중 특징을 QA 및 트위터 텍스트에서 추출하여, 로지스틱 회귀 모델을 학습시켜 62개의 인구통계적 특성을 예측한다.
• 모델 성능 평가에 10겹 교차검증을 적용하였으며, 주요 평가 지표로 피어슨 상관계수(ρ)를 사용한다.
• 예측 모델에서 절댓값이 가장 큰 계수를 가진 용어를 추출하여, 인구통계적 특성과의 의미적 관련성을 분석한다.
• 가장 상관도가 높은 용어들을 두 플랫폼 간 비교하여 정성적 분석을 수행하였으며, 이는 콘텐츠 유형의 차이를 부각한다.
• Yahoo! Answers와 트위터 간의 성능 차이에 대한 통계적 유의성을 평가하기 위해 윌코크슨 부호순위 검정을 사용한다.

실험 결과

연구 질문

• RQ1 Yahoo! Answers와 같은 커뮤니티 기반 질문-답변 플랫폼에서 생성된 텍스트가, 트위터와 비교해 유사하거나 더 뛰어난 성능으로 도시 지역의 실질적인 인구통계적 특성을 예측할 수 있는가?
• RQ2 Yahoo! Answers와 트위터 텍스트에서 높은 영향도를 가진 용어의 의미적 패턴은 그들이 예측하는 인구통계적 특성과 어떻게 관련되어 있는가?
• RQ3 QA 플랫폼과 미크로블로깅 플랫폼이 도시 지역을 묘사할 때 포착하는 정보의 성격은 어떤가?
• RQ4 QA 데이터에 지리적 위치 정보가 없기 때문에, 이는 지역 수준의 특성 예측 능력에 영향을 미치는가?
• RQ5 일부 인구통계적 특성(예: 인종, 고용, 연령대 등)은 한 플랫폼에서 다른 플랫폼보다 더 잘 예측되는가?

주요 결과

• Yahoo! Answers 텍스트를 사용해 62개의 인구통계적 특성을 예측할 때 평균 피어슨 상관계수(ρ)는 0.54였으며, 트위터의 0.53보다 略적으로 높았다.
• 인종 및 고용 관련 특성을 예측할 때 Yahoo! Answers가 트위터를 앞서며, 연령대 및 자동차 소유와 같은 특성에 대해서는 트위터가 더 뛰어났다.
• 윌코크슨 부호순위 검정을 통해 두 플랫폼 간 성능 차이가 통계적으로 유의미함을 확인( p < 0.01 ).
• 정성적 분석 결과, 두 플랫폼에서 가장 예측력이 높은 용어들이 해당 인구통계적 특성과 강한 의미적 일치를 보였으며, 예를 들어 종교적 특성에 대해 '유대교' 또는 '유대교 공동체' 등의 용어가 뚜렷하게 관련되어 있었다.
• Yahoo! Answers 텍스트는 더 백과사전적이고 사실 기반의 성격을 띠는 반면, 트위터 텍스트는 실시간 사회문화적 감성과 현재 사건을 반영한다.
• Yahoo! Answers에 지리적 위치 정보가 없음에도 불구하고, 이 플랫폼의 텍스트는 여전히 지역 수준의 인구통계적 특성에 대해 강력한 예측 신호를 제공하였다.