[논문 리뷰] A Total Error Framework for Digital Traces of Humans

Indira Sen, Fabian Floeck외 3명|arXiv (Cornell University)|2019. 07. 18.

Human Mobility and Location-Based Analysis참고 문헌 108인용 수 21

한 줄 요약

이 논문은 인간의 디지털 트레이스를 위한 총 오차 프레임워크를 제안하며, 총 조사 오차 프레임워크를 적응시켜 사회과학 연구에서 디지털 데이터를 사용할 때 발생하는 오차를 진단하고 이해하며 이를 완화하는 데 목적이 있다. 데이터 수집, 처리, 분석 단계에 걸쳐 오차를 체계적으로 분류함으로써 연구자들이 디지털 트레이스에서 도출하는 추론의 타당성과 신뢰성 향상에 기여한다.

ABSTRACT

The interactions and activities of hundreds of millions of people worldwide are recorded as digital traces every single day. When pulled together, these data offer increasingly comprehensive pictures of both individuals and groups interacting on different platforms, but they also allow inferences about broader target populations beyond those platforms, representing an enormous potential for the Social Sciences. Notwithstanding the many advantages of digital traces, recent studies have begun to discuss the errors that can occur when digital traces are used to learn about humans and social phenomena. Incidentally, many similar errors also affect survey estimates, which survey designers have been addressing using error conceptualization frameworks such as the Total Survey Error Framework. In this work, and leveraging the systematic approach of the Total Survey Error Framework, we propose a conceptual framework to diagnose, understand and avoid errors that may occur in studies that are based on digital traces of humans.

연구 동기 및 목표

• 디지털 트레이스 기반 사회과학 연구에서의 오차에 대한 점점 증가하는 우려를 다루기 위해.
• 점점 더 인간 행동을 연구하는 데 사용되고 있는 디지털 트레이스 데이터에 총 조사 오차 프레임워크를 적응시키기 위해.
• 디지털 트레이스에 의존하는 연구에서 오차를 체계적으로 진단하고 이해하며 방지할 수 있는 방법을 제공하기 위해.
• 다양한 플랫폼과 인구 집단에서 디지털 트레이스 데이터에서 도출하는 추론의 신뢰성과 타당성을 향상시키기 위해.
• 연구자들이 디지털 데이터를 사용하여 인간 행동에 대해 더 타당한 주장들을 할 수 있도록 지원하기 위해.

제안 방법

• 디지털 트레이스 데이터의 맥락에 맞게 총 조사 오차 프레임워크의 구조를 적응시키기 위해.
• 데이터 수집, 처리, 분석 단계를 포함한 디지털 트레이스 연구 생애주기 전반에 걸쳐 오차 유형을 식별하고 분류하기 위해.
• 기존의 조사 오차—예를 들어 선택 오차, 측정 오차, 커버리지 오차—를 디지털 트레이스 맥락에 대응시키기 위해.
• 체계적인 오차 식별 및 완화 전략을 가능하게 하는 개념적 프레임워크를 제안하기 위해.
• 메서드적 엄밀성을 확보하기 위해 조사 방법론에서 유사한 비유와 구조적 유사성을 활용하기 위해.
• 디지털 트레이스 연구의 모든 단계에서 오차 인식의 중요성을 강조하기 위해, 데이터 확보에서 해석에 이르기까지.

실험 결과

연구 질문

• RQ1 사회과학 연구에서 디지털 트레이스 데이터의 오차는 어떻게 체계적으로 진단하고 분류할 수 있는가?
• RQ2 디지털 트레이스 연구에서 발생하는 오차 유형 중 기존의 조사 오차에 해당하는 것은 무엇이며, 어떻게 나타나는가?
• RQ3 기존의 조사 방법에 비해 디지털 트레이스 데이터는 어떤 방식으로 새로운 또는 증폭된 오차 원인을 도입하는가?
• RQ4 연구자들은 어떻게 체계적인 오차 프레임워크를 적용하여 디지털 트레이스에서 도출하는 추론의 타당성을 향상시킬 수 있는가?
• RQ5 디지털 트레이스 연구에서 오차를 해결하지 않을 경우 일반화 가능성과 인구 수준의 추론에 어떤 영향을 미치는가?

주요 결과

• 총 오차 프레임워크는 잘 알려진 총 조사 오차 프레임워크를 모델로 삼아 디지털 트레이스 연구에서 오차를 종합적이고 체계적으로 진단할 수 있는 접근법을 제공한다.
• 디지털 트레이스 연구는 선택 오차, 측정 오차, 커버리지 오차와 같은 동일한 핵심 오차 유형에 취약하지만, 디지털 데이터 맥락에서는 고유한 방식으로 나타난다.
• 이 프레임워크를 통해 연구자들은 오차를 데이터 수집, 처리, 분석의 특정 단계로 추적할 수 있어 투명성과 책임성 향상에 기여한다.
• 이 프레임워크를 채택함으로써 연구자들은 데이터 타당성에 대한 잠재적 위험을 사전에 식별하고 완화할 수 있어 사회과학적 추론의 신뢰성 향상에 기여한다.
• 이 프레임워크는 인간 행동과 사회 현상을 연구할 때 디지털 트레이스를 사용할 경우 더 타당하고 일반화 가능한 결론 도출을 지원한다.
• 오차 인식을 연구 설계와 평가의 중심 요소로 삼음으로써 이 접근법은 디지털 트레이스 연구의 메서드적 엄밀성을 촉진한다.