[논문 리뷰] TwitterCrowds: Techniques for Exploring Topic and Sentiment in Microblogging Data

Daniel Archambault, Derek Greene외 1명|arXiv (Cornell University)|2013. 06. 17.

Data Visualization and Analytics참고 문헌 37인용 수 11

한 줄 요약

이 논문은 수천만 건의 트윗(10M+ 트윗)을 포함한 대규모 마이크로블로깅 데이터에서 주제와 감성 탐색을 위해 설계된 두 가지 태그 클라우드 시각화 기법—ThemeCrowds와 SentireCrowds—에 대한 리스트 기반 인터페이스 등가체를 소개한다. 저자들은 공식 사용자 연구를 통해 이러한 인터페이스를 평가하였으며, 적절한 정렬(예: 감성 강도 기준)이 제공될 경우 리스트가 강한 감성과 관련된 주제를 식별하는 데 있어 작업 효율성을 크게 향상시키는 것으로 밝혀졌다. 반면 다수의 사용자들은 다중레벨 태그 클라우드를 더 선호하였으며, 이는 낮은 효율성에도 불구하고 사용자 만족도가 높기 때문이다.

ABSTRACT

Analysts and social scientists in the humanities and industry require techniques to help visualize large quantities of microblogging data. Methods for the automated analysis of large scale social media data (on the order of tens of millions of tweets) are widely available, but few visualization techniques exist to support interactive exploration of the results. In this paper, we present extended descriptions of ThemeCrowds and SentireCrowds, two tag-based visualization techniques for this data. We subsequently introduce a new list equivalent for both of these techniques and present a number of case studies showing them in operation. Finally, we present a formal user study to evaluate the effectiveness of these list interface equivalents when comparing them to ThemeCrowds and SentireCrowds. We find that discovering topics associated with areas of strong positive or negative sentiment is faster when using a list interface. In terms of user preference, multilevel tag clouds were found to be more enjoyable to use. Despite both interfaces being usable for all tested tasks, we have evidence to support that list interfaces can be more efficient for tasks when an appropriate ordering is known beforehand.

연구 동기 및 목표

• 사회과학 및 산업 연구 분야에서 대규모 마이크로블로깅 데이터에 대한 확장 가능하고 상호작용 가능한 시각화 기법의 부족을 해결하기 위해.
• 기존의 태그 클라우드 기반 시각화 기법(ThemeCrowds 및 SentireCrowds)을 리스트 인터페이스 등가체로 확장하여 사용성과 성능을 향상시키기 위해.
• 주제 및 감성 탐색 작업을 지원하는 데 있어 리스트 인터페이스와 다중레벨 태그 클라우드 간의 효과성을 평가하기 위해.
• 강한 긍정적 또는 부정적 감성 영역을 탐색할 때, 리스트의 구조적 정렬이 작업 효율성을 향상시킬 수 있는지 확인하기 위해.

제안 방법

• 사용자 생성 트윗을 일일 프로필 문서로 군집화하는 데 계층적 클러스터링 기법을 적용하여 대규모에서 주제 및 감성 군집화를 가능하게 하였다.
• ThemeCrowds 및 SentireCrowds에 대한 리스트 인터페이스 등가체를 개발하여 감성 강도 또는 주제 관련성 기준으로 주제를 정렬함으로써 빠른 시각적 탐색을 가능하게 하였다.
• 수천만 건의 트윗을 다룰 수 있는 관리 가능한 분석 군집으로 요약하기 위해 비지도 학습 방법(예: 클러스터링)을 활용하였다.
• 식별된 주제 주변의 언어 패턴과 감성 강도를 시각화하기 위해 다중레벨 태그 클라우드 및 리스트 인터페이스를 설계하였다.
• 다양한 감성 및 주제 탐색 작업을 대상으로 리스트 인터페이스와 태그 클라우드 인터페이스 간의 작업 성능과 사용자 선호도를 비교하기 위해 공식 사용자 연구를 수행하였다.
• 응답 시간과 선호도 순위를 비교하기 위해 통계 분석을 사용하였으며, 참가자들은 감성 강도, 언어 사용, 주제 식별과 관련된 작업을 수행하였다.

실험 결과

연구 질문

• RQ1 다중레벨 태그 클라우드 대비 리스트 인터페이스가 강한 긍정적 또는 부정적 감성과 관련된 주제를 탐색하는 데 있어 속도를 향상시키는가?
• RQ2 사용자들은 주제 및 감성 탐색 작업에서 리스트 인터페이스와 다중레벨 태그 클라우드 간의 사용성과 즐거움을 어떻게 평가하는가?
• RQ3 최적의 정렬 순서(예: 감성 강도 기준)를 사전에 알고 있을 경우, 정렬된 리스트 표현이 작업 효율성을 향상시킬 수 있는가?
• RQ4 작업에 적절한 정렬 순서가 제공되지 않을 경우, 리스트 및 태그 클라우드 인터페이스는 여전히 사용 가능하고 효과적인가?
• RQ5 성능 차이가 미미할 경우, 시각적 몰입도가 사용자 선호도에 어떤 역할을 하는가?

주요 결과

• 감성 강도 기준으로 정렬된 리스트 인터페이스는 최대 긍정적 또는 부정적 감성과 관련된 주제를 탐색할 때 응답 시간을 크게 단축시켰다.
• 다중레벨 태그 클라우드는 전체적으로 사용자 선호도 조사에서 더 높은 평가를 받았으며, 22명의 참가자 중 13명이 이를 선호하였고, 더 즐겁고 몰입감 있는 경험으로 평가되었다.
• 적절한 정렬 순서가 제공되지 않을 경우, 리스트와 태그 클라우드 인터페이스의 작업 완료 시간은 유사하게 나타나, 정렬이 리스트 효율성의 핵심 요소임을 시사한다.
• 사용자 연구를 통해 정렬 순서가 존재하는 작업에서 리스트가 태그 클라우드보다 더 효율적임을 확인하였으며, 이는 순서가 있는 데이터에 대한 리스트의 효과성에 대한 이전 연구 결과를 뒷받침한다.
• 성능 차이가 있음에도 불구하고, 두 인터페이스 모두 낮은 오류율을 기록하여, 대부분의 주제 및 감성 탐색 작업에 대해 둘 다 실용 가능하다는 것을 확인하였다.
• 사용자 피드백에 따르면, 태그 클라우드는 더 즐거웠지만, 사용자들은 리스트가 시간이 중요한 분석 작업에서 더 효과적일 수 있음을 인정하였다.