[論文レビュー] A Total Error Framework for Digital Traces of Humans

Indira Sen, Fabian Floeck+3 more|arXiv (Cornell University)|Jul 18, 2019

Human Mobility and Location-Based Analysis参考文献 108被引用数 21

ひとこと要約

本論文は、人間のデジタルトレースにおける誤りを診断・理解・軽減するため、デジタルデータを用いた社会科学研究における誤りに適応したTotal Survey Error Framework（総調査誤差枠組）を提唱する。データ収集、処理、分析の各段階における誤りを体系的に分類することで、研究者はデジタルトレースから得られる推論の妥当性と信頼性を向上させることができる。

ABSTRACT

The interactions and activities of hundreds of millions of people worldwide are recorded as digital traces every single day. When pulled together, these data offer increasingly comprehensive pictures of both individuals and groups interacting on different platforms, but they also allow inferences about broader target populations beyond those platforms, representing an enormous potential for the Social Sciences. Notwithstanding the many advantages of digital traces, recent studies have begun to discuss the errors that can occur when digital traces are used to learn about humans and social phenomena. Incidentally, many similar errors also affect survey estimates, which survey designers have been addressing using error conceptualization frameworks such as the Total Survey Error Framework. In this work, and leveraging the systematic approach of the Total Survey Error Framework, we propose a conceptual framework to diagnose, understand and avoid errors that may occur in studies that are based on digital traces of humans.

研究の動機と目的

• デジタルトレースに基づく社会科学研究における誤りに関する懸念が高まる中でそれに対処すること。
• デジタルトレースデータにTotal Survey Error Frameworkを適応させること。デジタルトレースデータは人間行動を研究するのにもますます利用されている。
• デジタルトレースに依存する研究における誤りを診断・理解・回避するための体系的な方法を提供すること。
• 異なるプラットフォームや集団を対象としたデジタルトレースデータからの推論の信頼性と妥当性を高めること。
• 研究者がデジタルデータを用いて人間行動についてより説得力のある主張を下すのを支援すること。

提案手法

• デジタルトレースデータの文脈に合わせ、Total Survey Error Frameworkの構造を適応すること。
• データ収集、処理、分析の各段階にわたる誤りの種類を特定・分類すること。
• 従来の調査誤り（選択誤差、測定誤差、カバレッジ誤差など）をデジタルトレースの文脈にマッピングすること。
• 体系的な誤り同定と是正戦略を可能にする概念的枠組みを提唱すること。
• 調査手法からの類推と構造的類似性を用いて、デジタルトレース研究における方法論的厳密性を確保すること。
• データ取得から解釈に至るまでの各段階で誤りへの認識の重要性を強調すること。

実験結果

リサーチクエスチョン

• RQ1 社会科学研究におけるデジタルトレースデータの誤りを、どのように体系的に診断・分類できるか。
• RQ2 デジタルトレース研究における誤りの種類は、従来の調査誤りに対応するものであり、それらはどのように現れるか。
• RQ3 従来の調査手法と比較して、デジタルトレースデータはどのように新たな誤り要因を生じるか、または既存の誤り要因を強化するか。
• RQ4 研究者が構造的な誤り枠組みをどのように適用することで、デジタルトレースからの推論の妥当性を高められるか。
• RQ5 未解決の誤りが、デジタルトレース研究における一般化可能性と集団レベルの推論に与える影響は何か。

主な発見

• Total Error Frameworkは、広く認知されたTotal Survey Error Frameworkを模範として、デジタルトレース研究における誤りを包括的かつ体系的に診断する手法を提供する。
• デジタルトレース研究は、選択誤差、測定誤差、カバレッジ誤差といった、調査と同様の根本的誤りタイプにさらされやすいが、デジタルデータの文脈ではその現れ方が特異的である。
• この枠組みにより、誤りをデータ収集・処理・分析の特定の段階に遡って追跡可能となり、透明性と説明責任が向上する。
• この枠組みを採用することで、研究者はデータ妥当性のリスクを事前に同定・是正でき、社会科学研究の推論の信頼性が向上する。
• この枠組みにより、人間行動や社会現象をデジタルトレースを用いて研究する際、より説得力があり一般化可能な結論を導く支援が可能になる。
• 誤りへの認識を研究設計と評価の中心的要素とするため、このアプローチはデジタルトレース研究における方法論的厳密性を促進する。