[論文レビュー] Ethical Considerations for Responsible Data Curation

Jerone T. A. Andrews, Dora Zhao+4 more|arXiv (Cornell University)|Feb 7, 2023

Privacy-Preserving Technologies in Data被引用数 12

ひとこと要約

本論文は、目的、同意/プライバシー、および多様性を重視した ante hoc、ドメイン固有の推奨を提示し、プライバシーとバイアスの懸念に対処する人間中心のコンピュータビジョン評価データセットを積極的にキュレーションするための前処理的アプローチを提案します。事前の調整チェックリストと倫理的データ実践の具体的ガイダンスを提供します。

ABSTRACT

Human-centric computer vision (HCCV) data curation practices often neglect privacy and bias concerns, leading to dataset retractions and unfair models. HCCV datasets constructed through nonconsensual web scraping lack crucial metadata for comprehensive fairness and robustness evaluations. Current remedies are post hoc, lack persuasive justification for adoption, or fail to provide proper contextualization for appropriate application. Our research focuses on proactive, domain-specific recommendations, covering purpose, privacy and consent, and diversity, for curating HCCV evaluation datasets, addressing privacy and bias concerns. We adopt an ante hoc reflective perspective, drawing from current practices, guidelines, dataset withdrawals, and audits, to inform our considerations and recommendations.

研究の動機と目的

• HCCVデータセットのキュレーションにおけるプライバシーとバイアスの課題を浮き彫りにし、積極的なドメイン固有の指針の必要性を示す。
• 目的・同意/プライバシー・多様性をカバーする ante hoc の倫理的考慮を HCCVデータセットに対して開発する。
• 倫理的データセットの構築と文書化を導く実践的な推奨と事前の調整チェックリストを提供する。

提案手法

• 現在の実践、ガイドライン、撤回、監査からの洞察を統合し、倫理的配慮を策定する。
• 推奨を三つの柱、目的、同意とプライバシー、多様性の周りに位置づける。
• 責任あるデータのキュレーションを実現するための具体的な事前調整質問とチェックリスト（Appendix A）を提案する。
• 事後対処よりも、早期でドメイン固有かつ文脈を考慮したデータ設計慣行を推進する。

実験結果

リサーチクエスチョン

• RQ1 How can HCCV dataset curation be guided by purpose statements to prevent bias and privacy harms before data collection?
• RQ2 What consent and privacy practices are necessary to ethically collect and use HCCV data for fairness and robustness evaluations?
• RQ3 How should diversity be defined and implemented in HCCV datasets to mitigate representational and historical biases?
• RQ4 What practical mechanisms (e.g., consent revocation, country-of-residence collection, redaction) can be incorporated into pre-curation processes to enhance ethics?
• RQ5 What are the limitations of current post hoc approaches, and how can ante hoc guidance improve fairness and robustness?

主な発見

• Current HCCV data practices often neglect privacy and bias, leading to harms and dataset withdrawals.
• Fairness-aware datasets are scarce and often task-misaligned with HCCV applications, complicating bias evaluation.
• Proactive recommendations centered on purpose, consent/privacy, and diversity can guide ethical, robust data curation from the outset.
• A pre-curation checklist is provided to translate ethical considerations into actionable questions for curators.