[論文レビュー] A Critical Field Guide for Working with Machine Learning Datasets

Sarah Ciston, Mike Ananny+1 more|ArXiv.org|Jan 26, 2025

Big Data Technologies and Applications被引用数 5

ひとこと要約

この論文は、MLデータセットのライフサイクル全体にわたる良心的なデータセット管理の実践的指針を提供し、重要なAI理論と応用データサイエンスの概念を組み合わせて、研究者、ジャーナリスト、アーティスト、開発者がデータをより責任ある形で扱えるよう支援します。

ABSTRACT

Machine learning datasets are powerful but unwieldy. Despite the fact that large datasets commonly contain problematic material--whether from a technical, legal, or ethical perspective--datasets are valuable resources when handled carefully and critically. A Critical Field Guide for Working with Machine Learning Datasets suggests practical guidance for conscientious dataset stewardship. It offers questions, suggestions, strategies, and resources for working with existing machine learning datasets at every phase of their lifecycle. It combines critical AI theories and applied data science concepts, explained in accessible language. Equipped with this understanding, students, journalists, artists, researchers, and developers can be more capable of avoiding the problems unique to datasets. They can also construct more reliable, robust solutions, or even explore new ways of thinking with machine learning datasets that are more critical and conscientious.

研究の動機と目的

• 大規模データセットにおける技術的・法的・倫理的懸念のため、機械学習データセットの良心的な管理の必要性を喚起する。
• 各ライフサイクル段階でデータセットを取り扱う際の実践的ガイダンス・質問・戦略・リソースを提示する。
• アクセス可能な言語で重要なAI理論を応用データサイエンスの概念と橋渡しし、多様な利害関係者を支援する。

提案手法

• ライフサイクルの各段階にわたるデータセット作業のための、構造化された質問・提案・戦略を提供する。
• データセット固有の一般的な問題を回避することを目的としたリソースと実践的指針を提供する。
• 幅広い聴衆向けに、重要なAI理論と応用データサイエンスの概念をわかりやすい言葉で統合する。

実験結果

リサーチクエスチョン

• RQ1 MLデータライフサイクル全体で良心的なデータセット管理を導く実用的な質問と戦略は何か？
• RQ2 さまざまな利害関係者がMLパイプラインで共通するデータ関連の問題を避けるのを助けるリソースとアプローチは何か？
• RQ3 高度なAI理論を、データセットを扱う非技術的な聴衆にも理解しやすい指針へどう翻訳できるか？
• RQ4 この指針は、MLデータセットの信頼性・堅牢性・倫理的配慮をどのように改善できるか？

主な発見

• 良心的なデータセット管理のための実践的ガイダンス・質問・戦略・リソースを提供する。
• 重要なAI理論を、応用データサイエンスの概念とわかりやすい言葉で統合する。
• 学生・ジャーナリスト・アーティスト・研究者・開発者がデータセットに特有の問題を回避し、より信頼性が高く堅牢な解決策を構築できるようにすることを目指す。