[論文レビュー] Web Scraping for Research: Legal, Ethical, Institutional, and Scientific Considerations

Megan A. Brown, Andrew Gruen+4 more|arXiv (Cornell University)|Oct 30, 2024

Wikis in Education and Collaboration被引用数 5

ひとこと要約

この査読なしのワーキングペーパーは、社会科学研究におけるウェブスクレイピングの包括的な枠組みを提示し、法的・倫理的・制度的・科学的な考慮事項を概説し、リスクを緩和し厳密性を高めるための指針を提供する。

ABSTRACT

Scientists across disciplines often use data from the internet to conduct research, generating valuable insights about human behavior. However, as generative AI relying on massive text corpora becomes increasingly valuable, platforms have greatly restricted access to data through official channels. As a result, researchers will likely engage in more web scraping to collect data, introducing new challenges and concerns for researchers. This paper proposes a comprehensive framework for web scraping in social science research for U.S.-based researchers, examining the legal, ethical, institutional, and scientific factors that researchers should consider when scraping the web. We present an overview of the current regulatory environment impacting when and how researchers can access, collect, store, and share data via scraping. We then provide researchers with recommendations to conduct scraping in a scientifically legitimate and ethical manner. We aim to equip researchers with the relevant information to mitigate risks and maximize the impact of their research amidst this evolving data access landscape.

研究の動機と目的

• スクレイピングを通じたデータアクセスが制約されたデータ環境で進化する中、より明確なガイドラインの必要性を動機づける。
• スクレイピングを定義し、公式APIおよびクローリングと区別する。
• スクレイピング時に研究者が考慮すべき法的・倫理的・制度的・科学的要因の枠組みを提供する。
• 科学的に正当かつ倫理的にスクレイピングを実施するための推奨事項と実用的なチェックリストを提供する。

提案手法

• スクレイピングを定義し、調査手法（従来のスクレイピング、未文書化APIスクレイピング、ブラウザプラグインスクレイピング）を明確にする。
• 契約法・法令・プライバシー・データアクセス法を含む法的考慮事項を、例と事例を交えて分析する。
• Common Ruleの下での倫理的配慮と、公開データと同意に関する議論を論じる。
• 大学環境に関連する制度的要因と利害関係者の役割を概説する。
• スクレイピングプロジェクトにおける法的・倫理的リスクを軽減するための枠組みと実践的なガイダンスを提供する。

実験結果

リサーチクエスチョン

• RQ1 社会科学研究のためにウェブをスクレイピングする際、研究者はどのような法的・倫理的・制度的・科学的要因を考慮する必要があるか。
• RQ2 研究者は、現在および進化するデータアクセスの状況をどのようにナビゲートして、科学的に厳密かつ倫理的に正当なスクレイピングを実施できるか。
• RQ3 データ収集手法としてスクレイピングを用いる際のリスクを軽減するのに役立つ実践的な推奨事項とチェックリストは何か。

主な発見

• スクレイピングは複数の機構（従来のスクレイピング、未文書化API、ブラウザプラグイン）を通じて発生し、それぞれに異なる法的・倫理的影響がある。
• 契約、CFAA、プライバシー/データ保護、EU DSAのようなデータアクセス体制など、法の断片が Jurisdictionごとに一様でないリスクを生み出す。
• 裁判所は反スクレイピングの執行において利用者契約（browsewrap対clickwrap）をますます精査しており、公開データに依存する研究者に影響を及ぼす。
• プライバシー法、特にGDPRは課題を提示する一方で、リスクを軽減しデータを最小化すれば研究者に有利な適用免除もある。
• データアクセス体制（EU DSAなど）は、政策関連の研究のために審査済みの研究者がプラットフォームデータにアクセスできるよう動いており、規制の転換を示唆している。
• スクレイピングの倫理は、公開データの利用とプライバシー、同意、および個人やコミュニティへの潜在的な被害を特に関係データや脆弱なグループに対して衡平に扱わなければならない。