[论文解读] Between Subjectivity and Imposition: Power Dynamics in Data Annotation for Computer Vision

Milagros Miceli, Martin Schuessler+1 more|arXiv (Cornell University)|Jul 29, 2020

Ethics and Social Impacts of AI参考文献 51被引用 26

一句话总结

本文通過將註記視為受階層結構塑造的意義建構實踐，探討電腦視覺資料標註中的權力動態。運用建構主義基礎理論，研究顯示標籤不僅僅是主觀的，更受到客戶與市場需求自上而下的強制施加，並被自然化為中立——從而削弱責任歸屬，暴露人工智慧資料創建中的系統性權力失衡。

ABSTRACT

The interpretation of data is fundamental to machine learning. This paper investigates practices of image data annotation as performed in industrial contexts. We define data annotation as a sense-making practice, where annotators assign meaning to data through the use of labels. Previous human-centered investigations have largely focused on annotators subjectivity as a major cause for biased labels. We propose a wider view on this issue: guided by constructivist grounded theory, we conducted several weeks of fieldwork at two annotation companies. We analyzed which structures, power relations, and naturalized impositions shape the interpretation of data. Our results show that the work of annotators is profoundly informed by the interests, values, and priorities of other actors above their station. Arbitrary classifications are vertically imposed on annotators, and through them, on data. This imposition is largely naturalized. Assigning meaning to data is often presented as a technical matter. This paper shows it is, in fact, an exercise of power with multiple implications for individuals and society.

研究动机与目标

• 檢視權力結構如何形塑工業環境中的資料標註實務。
• 透過揭露自上而下的分類強制施加，挑戰資料標註中「中立性」的神話。
• 調查客戶、管理人員與標註者之間的階層關係如何影響標籤的創造。
• 主張資料集中的倫理與技術問題源於結構性權力失衡，而不僅僅是個人主觀性。
• 提倡在資料工作中採用反思性、具權力意識的文件記錄，以提升責任歸屬與透明度。

提出的方法

• 在兩家資料標註公司進行數週的民族誌田野調查。
• 對 24 名標註者、管理人員與電腦視覺從業者進行半結構化訪談。
• 應用建構主義基礎理論分析資料，強調研究者自我反思與脈絡敏感的詮釋。
• 運用布迪厄的符號權力概念，分析意義如何在標註過程中被強制施加與自然化。
• 追蹤標註指示從客戶需求經由管理層傳遞至標註者的流程，識別標準化與控制的關鍵節點。
• 分析實際的標註專案，揭露規範性與階層性因素對標籤決策的影響。

实验结果

研究问题

• RQ1 在工業脈絡中，資料標註者如何理解影像資料？
• RQ2 哪些結構、標準與權力關係形塑了資料標註中的意義建構過程？
• RQ3 誰決定資料點的分類？在標註流程的哪一階段？
• RQ4 客戶與市場需求如何轉化為標註指引？對標籤一致性與倫理產生何種影響？
• RQ5 強制施加的分類以何種方式被自然化？這對人工智慧系統的責任歸屬造成何種影響？

主要发现

• 資料標註不是中立的技術任務，而是受階層控制形塑的權力濃厚的意義建構過程。
• 標籤指引主要由客戶需求與市場優化驅動，而非倫理或認知論考量。
• 標註者內化並自然化自上而下的分類，視其為客觀且不可避免。
• 標籤的標準化優先考慮成本效率與產出數量，而非解釋深度或倫理敏感度。
• 多重層級的監督與控制稀釋了責任，使難以追溯傷害至特定行動者。
• 強制分類的自然化掩蓋了資料集中嵌入的政治與經濟力量，從而削弱責任歸屬與透明度。