[論文レビュー] Documenting Data Production Processes: A Participatory Approach for Data Work

Milagros Miceli, Tianling Yang+5 more|arXiv (Cornell University)|Jul 11, 2022

Ethics and Social Impacts of AI被引用数 7

ひとこと要約

本論文は、機械学習におけるデータ生産プロセスの文書化に参加型アプローチを提案し、静的データセット文書化から、データ作業者の生活実態を反映する動的で協働的な文書化へと焦点を移している。ブルガリアおよびアルゼンチンの2か国のBPOで2.5年間にわたり共同設計を進めた結果、作業者は情報のチーム間移動、フィードバックループの確立、自身の声の保存を重視する文書化を重視していることが明らかになった。これにより、MLサプライチェーンにおける透明性と公平性を高める境界オブジェクトモデルが提示された。

ABSTRACT

The opacity of machine learning data is a significant threat to ethical data work and intelligible systems. Previous research has addressed this issue by proposing standardized checklists to document datasets. This paper expands that field of inquiry by proposing a shift of perspective: from documenting datasets toward documenting data production. We draw on participatory design and collaborate with data workers at two companies located in Bulgaria and Argentina, where the collection and annotation of data for machine learning are outsourced. Our investigation comprises 2.5 years of research, including 33 semi-structured interviews, five co-design workshops, the development of prototypes, and several feedback instances with participants. We identify key challenges and requirements related to the integration of documentation practices in real-world data production scenarios. Our findings comprise important design considerations and highlight the value of designing data documentation based on the needs of data workers. We argue that a view of documentation as a boundary object, i.e., an object that can be used differently across organizations and teams but holds enough immutable content to maintain integrity, can be useful when designing documentation to retrieve heterogeneous, often distributed, contexts of data production.

研究の動機と目的

• 機械学習のデータ生産の不透明性を解消するため、静的データセットから、動的でプロセス指向の実践へと文書化の焦点を移す。
• アウトソーシングされたデータ作業を含むMLサプライチェーンにおける情報非対称性を緩和する文書化がどのように機能するかを調査する。
• グローバルでアウトソーシングされたデータ生産環境におけるデータ作業者の具体的な文書化ニーズを理解する。
• 現実のデータ作業の協働的・反復的・分散的性質を反映する文書化ツールを共同で設計する。
• 境界オブジェクトとして機能する文書化モデルを開発し、チームや組織間で適応可能でありながら、根幹の整合性と作業者の声を保持できるようにする。

提案手法

• アルゼンチンおよびブルガリアの2か国のビジネスプロセスアウトソーシング（BPO）会社のデータ作業者およびマネージャー33名に対して、半構造化インタビューを実施した。
• データ作業者を対象に5回の共同設計ワークショップを実施し、文書化ツールの共同プロトタイプ作成と改善を進めた。
• 参加者からのフィードバックに基づき、フィードバックループと反復的改善を重視して、文書化プロトタイプの開発と反復的改善を実施した。
• 参加型デザインの原則を適用し、特に管理上のガバナンスや上位からの一方向のコミュニケーションパターンを克服するにあたり、データ作業者の視点を核とする。
• 境界オブジェクトフレームワークを用いて、文書化を、多様なチームや組織で適応可能でありながらも、整合性を保ち、共有理解を維持する共有アーティファクトとして概念化した。
• 文化的・言語的多様性の考慮を設計プロセスに統合し、言語的・権力的障壁を克服するため、方法論を調整した。

実験結果

リサーチクエスチョン

• RQ1 文書化は、データ生産プロセスの反復的かつ協働的な性質をどのように反映できるか？
• RQ2 文書化の実践は、データ生産およびMLサプライチェーンにおける情報非対称性をどのように緩和できるか？
• RQ3 データ作業者が最良の状態で業務を遂行するために必要な情報は何か。それは文書化にどのように組み込むことができるか？
• RQ4 文書化は、地理的・文化的に分散したステークホルダー間の協働をどのように支援する境界オブジェクトとして機能できるか？
• RQ5 データ作業者の声を文書化の作成プロセスの中心に据える際、どのようなデザイン的配慮が生じるか？

主な発見

• データ作業者は、タスク、チーム、報酬に関する情報を組織的・文化的境界を越えて移動できる文書化を重視した。
• 作業者は、リクエスターおよびマネージャーに対して懸念事項や提案をフィードバックできるフィードバックループを文書化が支援することを期待した。
• 上位からの一方向的で線形的な文書化手法は不十分と見なされ、作業とともに進化する円形的・反復的文書化が好まれた。
• 作業者が設計プロセスを主導することで、タスク割り当てや報酬構造の透明性といった、これまで明言されていなかったニーズが明らかになった。
• 境界オブジェクトモデルは、チーム間での適応可能性と、整合性と共有理解を維持するのに十分な安定性の両立に有効であることが示された。
• 管理上のガバナンスが初期プロトタイプ開発を制限したため、作業者主導の設計スペースを設ける必要があることが浮き彫りになった。