[论文解读] The Values Encoded in Machine Learning Research

Abeba Birhane, Pratyusha Kalluri+4 more|arXiv (Cornell University)|Jun 29, 2021

Big Data and Business Intelligence被引用 12

一句话总结

本文提出了一种新颖的标注方案，用于识别并分析100篇来自ICML和NeurIPS的高被引机器学习研究论文中编码的价值观。研究发现，诸如性能（Performance）、泛化能力（Generalization）和新颖性（Novelty）等核心价值观被系统性地定义，以强化权力集中化，对社会需求或负面影响的关注极少，且与精英机构及科技公司联系紧密。

ABSTRACT

Machine learning currently exerts an outsized influence on the world, increasingly affecting institutional practices and impacted communities. It is therefore critical that we question vague conceptions of the field as value-neutral or universally beneficial, and investigate what specific values the field is advancing. In this paper, we first introduce a method and annotation scheme for studying the values encoded in documents such as research papers. Applying the scheme, we analyze 100 highly cited machine learning papers published at premier machine learning conferences, ICML and NeurIPS. We annotate key features of papers which reveal their values: their justification for their choice of project, which attributes of their project they uplift, their consideration of potential negative consequences, and their institutional affiliations and funding sources. We find that few of the papers justify how their project connects to a societal need (15\%) and far fewer discuss negative potential (1\%). Through line-by-line content analysis, we identify 59 values that are uplifted in ML research, and, of these, we find that the papers most frequently justify and assess themselves based on Performance, Generalization, Quantitative evidence, Efficiency, Building on past work, and Novelty. We present extensive textual evidence and identify key themes in the definitions and operationalization of these values. Notably, we find systematic textual evidence that these top values are being defined and applied with assumptions and implications generally supporting the centralization of power.Finally, we find increasingly close ties between these highly cited papers and tech companies and elite universities.

研究动机与目标

• 通过识别影响深远的机器学习研究中嵌入的具体价值观，挑战机器学习是价值中立的神话。
• 开发一种细粒度的标注方案，用于检测研究论文中的价值观，包括正当理由、价值提升和风险考量。
• 分析100篇高被引的ICML与NeurIPS论文，以揭示主导价值观及其在技术话语中的具体实现方式。
• 研究这些价值观如何受到机构隶属关系、资金来源和权力不对称性的影响。
• 揭示性能（Performance）和新颖性（Novelty）等价值观是如何被定义和应用的，从而强化人工智能研究中既有的权力结构。

提出的方法

• 开发了一套定制化的标注方案，系统性地标记研究论文中的价值观，重点关注项目正当理由、价值提升、风险考量和机构背景。
• 将该方案应用于2018至2021年间ICML与NeurIPS的100篇高被引论文，共生成超过3,500条标注语句。
• 进行逐行文本分析，以识别并分类论文中出现的59种不同价值观。
• 通过训练识别并提取反复出现的价值承诺，特别关注性能（Performance）、泛化能力（Generalization）、效率（Efficiency）、基于以往工作、新颖性（Novelty）等。
• 绘制机构隶属关系与资金来源，以追踪顶尖大学与科技公司之间的关联。
• 开展定性与定量分析，评估价值观如何被定义与实现，尤其是与权力集中化的关系。

实验结果

研究问题

• RQ1 在高被引的机器学习研究论文中编码了哪些价值观？它们在技术话语中是如何具体实现的？
• RQ2 这些论文在多大程度上基于社会需求或潜在负面影响来为其项目提供正当理由？
• RQ3 机构隶属关系和资金来源与机器学习研究中强调的价值观之间存在何种相关性？
• RQ4 核心价值观如性能（Performance）和新颖性（Novelty）在何种方式下被定义和应用，从而强化了权力集中化？
• RQ5 顶级机器学习会议所推广的价值观如何反映或再现了系统性的权力不对称性？

主要发现

• 在100篇论文中仅有15%基于社会需求来为其项目提供正当理由，表明对现实世界社会相关性的关注极少。
• 仅有1%的论文讨论了潜在的负面后果，揭示了在伦理预见力和影响评估方面存在显著缺口。
• 被最频繁正当化的五个价值观——性能（Performance）、泛化能力（Generalization）、定量证据（Quantitative evidence）、效率（Efficiency）和新颖性（Novelty）——被系统性地定义为有利于集中化权力结构。
• 有强有力的文本证据表明，诸如新颖性（Novelty）和性能（Performance）等价值观是通过有利于既定机构和科技公司的假设来实现的。
• 分析显示，顶级机器学习论文与顶尖大学及主要科技公司之间的机构和资金联系日益紧密。
• 本研究在机器学习研究中识别出59种不同价值观，其中前五位主要为技术性，但在其应用和影响方面具有显著的社会与政治含义。