[论文解读] Bias Amplification in Artificial Intelligence Systems

Kirsten Lloyd|arXiv (Cornell University)|Sep 20, 2018

Ethics and Social Impacts of AI参考文献 1被引用 43

一句话总结

本論文認為 AI 系統可能放大訓練數據中的偏見，並強調需要以政策為導向的数据标准和包容性實踐來降低這一風險。

ABSTRACT

As Artificial Intelligence (AI) technologies proliferate, concern has centered around the long-term dangers of job loss or threats of machines causing harm to humans. All of this concern, however, detracts from the more pertinent and already existing threats posed by AI today: its ability to amplify bias found in training datasets, and swiftly impact marginalized populations at scale. Government and public sector institutions have a responsibility to citizens to establish a dialogue with technology developers and release thoughtful policy around data standards to ensure diverse representation in datasets to prevent bias amplification and ensure that AI systems are built with inclusion in mind.

研究动机与目标

• 突出 AI 可能放大訓練數據中的偏見並在大規模上影響邊緣化群體的風險。
• 倡導政府與公共部門與技術人員合作，解決偏見放大問題。
• 建議圍繞數據標準制定深思熟慮的政策，以確保數據集中多樣性代表性。
• 倡導以包容性為重點的 AI 開發實踐，以防止偏見放大。

提出的方法

• 以偏見放大問題為基礎的面向政策的分析。
• 推動政府機構與技術開發者之間的對話。
• 將數據標準和多樣化代表性作為預防措施的建議。

实验结果

研究问题

• RQ1 AI 系統如何放大訓練數據中存在的偏見？
• RQ2 哪些政策措施和數據標準對於防止偏見放大有效？
• RQ3 公共部門的參與如何促進 AI 系統的包容性？

主要发现

• AI 技術可以放大現有偏見，並在大規模上影響邊緣化群體。
• 政府和公共機構有責任與技術開發者就此問題進行接觸。
• 需要關於數據標準的政策指引，以確保訓練數據集中有多樣化的代表性。
• 應將以包容性為重點的做法融入 AI 系統設計中，以緩解偏見放大。