[論文レビュー] Wisdom for the Crowd: Discoursive Power in Annotation Instructions for Computer Vision

Milagros Miceli, Julian Posada|arXiv (Cornell University)|May 23, 2021

Ethics and Social Impacts of AI参考文献 10被引用数 5

ひとこと要約

本稿は、コンピュータビジョンデータセットにおけるアノテーション指示が、商品化された労働を通じて支配的な世界観や権力構造をどのように規定しているかを調査している。その結果、グローバル・ノースのリクエスターが上から下へ提示する利益志向の強い指示が、グローバル・サウスのアノテーターに、米国中心の人種的分類や北米の道路標識といったきめ細かく硬直的な分類体系を強制しており、AIシステムに社会的不平等を再現していることが明らかになった。本研究は、監視とアルゴリズム的管理によって強化されるこれらの指示が、作業者自身の自律性や倫理的反論の余地をほとんど残さず、訓練データにヘゲモニックな規範を埋め込んでいることを示している。

ABSTRACT

Developers of computer vision algorithms outsource some of the labor involved in annotating training data through business process outsourcing companies and crowdsourcing platforms. Many data annotators are situated in the Global South and are considered independent contractors. This paper focuses on the experiences of Argentinian and Venezuelan annotation workers. Through qualitative methods, we explore the discourses encoded in the task instructions that these workers follow to annotate computer vision datasets. Our preliminary findings indicate that annotation instructions reflect worldviews imposed on workers and, through their labor, on datasets. Moreover, we observe that for-profit goals drive task instructions and that managers and algorithms make sure annotations are done according to requesters' commands. This configuration presents a form of commodified labor that perpetuates power asymmetries while reinforcing social inequalities and is compelled to reproduce them into datasets and, subsequently, in computer vision systems.

研究の動機と目的

• コンピュータビジョン開発者の世界観と利益志向の意図が、アノテーション指示にどのように埋め込まれているかを検討すること。
• とりわけグローバル・サウスの作業者に影響を及ぼすアウトソーシング型データラベリングプロセスに埋め込まれた権力の非対称性を調査すること。
• マネジメントおよびアルゴリズム的監視が、リクエスターが定めたラベルと分類体系への準拠をどのように強制しているかを分析すること。
• 作業者の自律性や現地の文脈的知識を軽視するトップダウン型ラベリングシステムの倫理的・政治的含意を探ること。
• 多様な解釈を抹消する事前に定義された階層的指示の下で、『クラウドの知恵』の神話をくつがえすこと。

提案手法

• アルゼンチンおよびベネズエラの3つのプラットフォームおよび1つのBPOから抽出した210件のアノテーション指示文書に対して、批判的・言語的分析を実施した。
• テキスト、言説的実践、および指示作成と実行の社会的文脈を分析するための三次元フレームワークを適用した。
• 27名のデータアノテーターおよびコンピュータビジョン研究者との深いインタビューを通じて、生活の実態と権力関係を明らかにした。
• 特に人種的、物体的、シーン分類のカテゴリーを含む、事前に定義された分類体系を地域的・文化的妥当性と照合した。
• 罰免や報酬不支給の警告といった制御メカニズムを特定し、抑圧的な労働構造を評価した。
• 作業者からのフィードバックが管理階層を通じてフィルタリングされ、ラベリング基準に直接的な影響を及えることがない仕組みを追跡した。

実験結果

リサーチクエスチョン

• RQ1 コンピュータビジョンデータセットの真のラベルは、アノテーターにどのように指示されているか？
• RQ2 アノテーション指示に内蔵された言説的要素は何か？
• RQ3 これらの言説に関連するマネジメント実践は何か？

主な発見

• アノテーション指示は、ラテンアメリカの文脈では文脈的に適切でない、米国中心の世界観を反映しており、人種分類システムが含まれている。
• 自動運転車用データセットの指示では、北米の道路標識や動物が優先され、ラテンアメリカの文脈では整合性が保てず、使用不能になることがある。
• アルゼンチンのBPOに勤務する作業者には、クライアントの利益を最優先させ、倫理的懸念を避けるよう指示されており、フィードバックは階層的管理を通じてフィルタリングされている。
• 罰免や報酬不支給の警告により、作業者たちは指示に厳密に従うことを余儀なくされており、抑圧的な労働構造が強化されている。
• 指示文書は利益志向の目標を反映しており、商業的価値があるか、計算的に容易に処理可能なラベルを優遇している。
• 作業者の自律性や解釈の自由はほとんどなく、指示から逸脱すればプラットフォームからの除外や報酬損失のリスクがある。