[論文レビュー] Improving the quality of individual-level online information tracking: challenges of existing approaches and introduction of a new content- and long-tail sensitive academic solution

Silke Adam, Mykola Makhortykh+7 more|arXiv (Cornell University)|Mar 5, 2024

Web visibility and informetrics被引用数 4

ひとこと要約

本稿では、WebTrackを紹介する。WebTrackは、既存のデスクトップ型トラッキングツールの限界を克服し、ニュースリストを超えた詳細なコンテンツ露出を捉えることで、個別レベルのオンライン情報追跡に特化したオープンソースでコンテンツ感受性・ロングテイル感受性を持つ学術的ツールである。1,185名の参加者からのデータを用いて、自然言語処理に基づく自動コンテンツ分析を活用することで、政治関連情報の消費行動をより正確に検出可能にし、データ品質を著しく向上させ、社会科学研究における新たな分析的知見を可能にする。

ABSTRACT

This article evaluates the quality of data collection in individual-level desktop information tracking used in the social sciences and shows that the existing approaches face sampling issues, validity issues due to the lack of content-level data and their disregard of the variety of devices and long-tail consumption patterns as well as transparency and privacy issues. To overcome some of these problems, the article introduces a new academic tracking solution, WebTrack, an open source tracking tool maintained by a major European research institution. The design logic, the interfaces and the backend requirements for WebTrack, followed by a detailed examination of strengths and weaknesses of the tool, are discussed. Finally, using data from 1185 participants, the article empirically illustrates how an improvement in the data collection through WebTrack leads to new innovative shifts in the processing of tracking data. As WebTrack allows collecting the content people are exposed to on more than classical news platforms, we can strongly improve the detection of politics-related information consumption in tracking data with the application of automated content analysis compared to traditional approaches that rely on the list-based identification of news.

研究の動機と目的

• 既存のデスクトップベースの個別レベルのオンライン情報追跡ツールにおける深刻な欠陥を特定すること、特にサンプリングバイアス、コンテンツレベルのデータ不足、ロングテイルコンテンツおよびデバイス多様性の無視に関するものである。
• 社会科学研究で用いられる現在のトラッキング手法における妥当性、透明性、プライバシーの問題を解決すること。
• 多様なオンラインプラットフォームにおける詳細なコンテンツ露出を捉える新しい学術的トラッキングソリューション—WebTrack—の開発および評価すること。
• WebTrackによる強化されたデータ収集が、特に政治関連情報の消費行動を検出する際に、より正確で革新的なトラッキングデータ処理を可能にすること。

提案手法

• クライアントサイドのブラウザ拡張機能と、データ集約および保存のためのセキュアなサーバーサイドバックエンドを備えたデスクトップベースのトラッキングツールとしてWebTrackを設計すること。
• フルURL、ページタイトル、および生のHTMLコンテンツを記録するコンテンツレベルのログ記録を実装することで、自動コンテンツ分析を可能にする。
• 非伝統的ニュースソースにおけるロングテイルコンテンツ消費を考慮するため、デバイスおよびプラットフォームに依存しないトラッキングを統合すること。
• 自然言語処理に基づく分類モデルを用いて、トピック（特に政治）ごとにトラッキングされたコンテンツを分類する自動コンテンツ分析技術を適用すること。
• 匿名化、ユーザーの同意メカニズム、オープンソースコードの公開を通じてプライバシーと透明性を確保すること。
• 1,185名の参加者を対象とした多様なオンライン行動を持つ大規模な実証的調査を用いて、ツールのパフォーマンスとデータ品質を検証すること。

実験結果

リサーチクエスチョン

• RQ1 既存の個別レベルのオンライン追跡ツールは、コンテンツの多様性およびロングテイル消費パターンをどのように捉えきれずにいるのか？
• RQ2 WebTrackは、リストベースの追跡手法と比較して、政治関連情報露出の検出精度をどの程度向上させているのか？
• RQ3 学術的調査におけるコンテンツ感受性・ロングテイル認識型トラッキングシステムの展開において、主な技術的および倫理的課題は何か？
• RQ4 詳細なコンテンツデータの統合が、オンライン情報露出の処理においてどのような新たな分析的能力を可能にするのか？

主な発見

• WebTrackは、非伝統的ニュースソースを含む幅広いプラットフォームにおけるコンテンツ露出を成功裏に捉えており、従来のニュースリストを超えた情報消費の検出範囲を顕著に拡大している。
• WebTrackに自動コンテンツ分析を統合することで、政治関連コンテンツの特定がより正確に行えるようになり、おそらく不正確なリストベース分類に依存するのを軽減できる。
• 1,185名の参加者からの実証データは、WebTrackがニッチでロングテイルコンテンツに対して、より豊富で代表的なオンラインメディア露出データを収集できることを示している。
• ツールはデバイスの多様性とユーザー固有のブラウジング行動を考慮することで、従来の追跡アプローチに内在するサンプリングバイアスを低減し、データ妥当性を向上させている。
• オープンソース設計、ユーザーの同意ワークフロー、セキュアなデータ取り扱いを通じて、WebTrackは透明性とプライバシーを強化しており、トラッキング研究における主要な倫理的懸念に対処している。
• 向上したデータ品質により、従来の手法では検出できなかった微細な政治的コンテンツ露出パターンを同定するなど、分析の新しい転換点を実現している。