[논문 리뷰] Big Questions for Social Media Big Data: Representativeness, Validity and Other Methodological Pitfalls

Zeynep Tüfekçi|arXiv (Cornell University)|2014. 03. 28.

Complex Network Analysis Techniques참고 문헌 20인용 수 118

한 줄 요약

이 논문은 사회적 미디어 빅데이터 연구에서의 방법론적 과제를 비판적으로 다루며, 대표성과 타당성에 초점을 맞춘다. Tufekci는 트위터 과도한 의존, 해시태그 기반 샘플링, 서브트윗과 같은 사용자 행동 등으로 인해 발생하는 체계적 편향을 지적하며, 사회적 미디어 분석 분야에서 보다 철저하고 맥락 인식이 된 분석 관행을 촉구한다.

ABSTRACT

Large-scale databases of human activity in social media have captured scientific and policy attention, producing a flood of research and discussion. This paper considers methodological and conceptual challenges for this emergent field, with special attention to the validity and representativeness of social media big data analyses. Persistent issues include the over-emphasis of a single platform, Twitter, sampling biases arising from selection by hashtags, and vague and unrepresentative sampling frames. The socio-cultural complexity of user behavior aimed at algorithmic invisibility (such as subtweeting, mock-retweeting, use of "screen captures" for text, etc.) further complicate interpretation of big data social media. Other challenges include accounting for field effects, i.e. broadly consequential events that do not diffuse only through the network under study but affect the whole society. The application of network methods from other fields to the study of human social activity may not always be appropriate. The paper concludes with a call to action on practical steps to improve our analytic capacity in this promising, rapidly-growing field.

연구 동기 및 목표

• 사회적 미디어 빅데이터 연구에서의 핵심 방법론적 결함, 특히 데이터의 대표성과 타당성과 관련하여 이를 특정하고 비판하는 것.
• 특히 트위터에 대한 과도한 의존으로 인한 플랫폼 특유의 편향이 사회적 미디어 분석 결과에 어떻게 왜곡을 초래하는지 분석하는 것.
• 서브트윗 및 텍스트를 위한 스크린샷 캡처와 같은 사용자 행동이 알고리즘 감지에서 회피하는 전략으로 작용하여 데이터 해석을 복잡하게 만드는 방식을 분석하는 것.
• 연구 대상 네트워크를 초월해 행동에 영향을 미치는 분야 효과(대규모 사회적 이벤트)가 분석 타당성에 어떤 영향을 미치는지 다루는 것.
• 사회적 미디어 빅데이터 연구 분야의 성장에 따라 향상된 방법론 기준과 맥락 인식이 필요한 이유를 제기하는 것.

제안 방법

• 기존 사회적 미디어 빅데이터 연구를 분석하여, 특히 샘플링 및 플랫폼 선택에서 반복되는 방법론적 결함을 규명하는 것.
• 서브트윗 및 모의 리트윗과 같은 사용자 행동이 알고리즘 가시성에서 회피하는 데 의도적으로 사용되는 전략으로서, 데이터 무결성에 영향을 미치는 방식을 분석하는 것.
• 사회문화적 맥락을 고려하지 않은 채 다른 분야에서 유래한 네트워크 분석 방법을 인간의 사회적 활동에 적용할 경우의 한계를 평가하는 것.
• 연구 대상 네트워크를 초월해 행동에 영향을 미치는 분야 효과(대규모 사회적 이벤트)의 역할을 강조하여, 네트워크 기반 추론이 왜 왜곡될 수 있는지 설명하는 것.
• 해시태그를 샘플링 수단으로 사용하는 것의 문제점을 비판하며, 선택 편향을 유발하고 일반 대중의 의견을 대변하지 못함을 지적하는 것.
• 플랫폼 역학, 사용자 주도성, 사회적 영향을 고려한 더 철저하고 맥락 민감도가 높은 데이터 분석 프레임워크를 제안하는 것.

실험 결과

연구 질문

• RQ1 트위터와 같은 단일 플랫폼에 대한 과도한 의존이 사회적 미디어 빅데이터 연구의 대표성에 어떻게 악영향을 미치는가?
• RQ2 서브트윗 및 텍스트를 위한 스크린샷 캡처와 같은 사용자 행동이 빅데이터 해석의 타당성에 어느 정도 영향을 미치는가?
• RQ3 연구 대상 네트워크를 초월해 행동에 영향을 미치는 분야 효과(대규모 정치적 또는 사회적 사건)가 사회적 미디어 분석 결과에 어떻게 왜곡을 초래하는가?
• RQ4 다른 분야에서 유래한 네트워크 분석 기법이 왜 사회적 미디어 맥락에서 인간의 사회적 활동에 자주 적용될 수 없는가?
• RQ5 사회적 미디어 빅데이터 연구의 타당성과 신뢰성을 향상시키기 위해 어떤 방법론적 개선이 필요한가?

주요 결과

• 트위터에 대한 과도한 의존은 연령, 지리, 사회경제적 배경 측면에서 일반 인구와 대비해 대표성이 떨어지는 사용자 집단에 국한되므로 심각한 샘플링 편향을 초래한다.
• 해시태그 기반 샘플링은 선택 편향을 유발하며, 일반 대중의 의견을 반영하기보다는 특정한 담론이나 활동가 집단의 의견을 반영하는 경향이 있다.
• 서브트윗 및 알고리즘을 회피하기 위한 스크린샷 사용과 같은 사용자 행동은 표준 분석 도구가 시스템적으로 감지하지 못하는 데이터를 생성함으로써 데이터의 타당성을 떨어뜨린다.
• 주요 정치적 또는 사회적 사건과 같은 분야 효과는 연구 대상 네트워크에 국한되지 않는 방식으로 네트워크 역학을 변화시켜 네트워크 중심의 추론을 무효화할 수 있다.
• 사회문화적 맥락을 고려하지 않은 채 다른 분야에서 유래한 네트워크 분석 기법을 사회적 미디어에 적용할 경우, 잘못된 또는 타당하지 않은 결론에 이르게 할 수 있다.
• 논문은 현재 사회적 미디어 빅데이터 연구에서의 방법론적 관행이 부족하다고 결론 내리며, 더 철저하고 맥락 인식이 되어 있으며 윤리적으로 기반을 둔 접근법이 필요하다고 촉구한다.