[논문 리뷰] The Values Encoded in Machine Learning Research

Abeba Birhane, Pratyusha Kalluri외 4명|arXiv (Cornell University)|2021. 06. 29.

Big Data and Business Intelligence인용 수 12

한 줄 요약

이 논문은 ICML과 NeurIPS에서 인용 횟수가 높은 100편의 기계학습 연구 논문에 포함된 값들을 식별하고 분석하기 위해 새로운 애너테이션 체계를 제안한다. 분석 결과, 성능, 일반화, 새로움과 같은 주요 가치들은 권력 집중을 강화하는 방식으로 체계적으로 정의되어 있으며, 사회적 수요나 부정적 영향에 대한 고려는 최소화되고, 엘리트 기관 및 기술 기업과의 강한 유대를 보이고 있다.

ABSTRACT

Machine learning currently exerts an outsized influence on the world, increasingly affecting institutional practices and impacted communities. It is therefore critical that we question vague conceptions of the field as value-neutral or universally beneficial, and investigate what specific values the field is advancing. In this paper, we first introduce a method and annotation scheme for studying the values encoded in documents such as research papers. Applying the scheme, we analyze 100 highly cited machine learning papers published at premier machine learning conferences, ICML and NeurIPS. We annotate key features of papers which reveal their values: their justification for their choice of project, which attributes of their project they uplift, their consideration of potential negative consequences, and their institutional affiliations and funding sources. We find that few of the papers justify how their project connects to a societal need (15\%) and far fewer discuss negative potential (1\%). Through line-by-line content analysis, we identify 59 values that are uplifted in ML research, and, of these, we find that the papers most frequently justify and assess themselves based on Performance, Generalization, Quantitative evidence, Efficiency, Building on past work, and Novelty. We present extensive textual evidence and identify key themes in the definitions and operationalization of these values. Notably, we find systematic textual evidence that these top values are being defined and applied with assumptions and implications generally supporting the centralization of power.Finally, we find increasingly close ties between these highly cited papers and tech companies and elite universities.

연구 동기 및 목표

• 유명한 기계학습 연구에서 내재된 특정 가치들을 규명함으로써 기계학습이 가치 중립적이라는 신화에 도전하는 것.
• 연구 논문 내 가치를 탐지하기 위한 세밀한 애너테이션 체계를 개발하는 것, 특히 정당화, 가치 향상, 위험 고려를 포함하여.
• ICML과 NeurIPS에서 인용 횟수가 높은 100편의 논문을 분석하여 지배적인 가치들과 기술적 담론 내에서의 구현 방식을 밝혀내는 것.
• 이러한 가치들이 기관 소속, 자금 지원 원천, 권력 비대칭성에 의해 어떻게 형성되는지 조사하는 것.
• 성능과 새로움과 같은 가치들이 어떻게 기존의 권력 구조를 강화하는 방식으로 정의되고 적용되는지 폭 드러내는 것.

제안 방법

• 연구 논문 내 가치를 체계적으로 레이블링하기 위해 맞춤형 애너테이션 체계를 개발하였으며, 프로젝트 정당화, 가치 향상, 위험 고려, 기관적 배경에 중점을 두었다.
• 2018~2021년도에 발표된 ICML과 NeurIPS에서 인용 횟수가 높은 100편의 논문에 이 체계를 적용하여 3,500개 이상의 애너테이션 문장을 확보하였다.
• 줄별 텍스트 분석을 수행하여 논문 내에 존재하는 59개의 구체적 가치를 식별하고 분류하였다.
• 특히 성능, 일반화, 효율성, 과거 연구 기반 구축, 새로움과 같은 가치들에 대한 반복적인 가치 기여를 훈련 및 추출하였다.
• 기관 소속과 자금 지원 원천을 맵핑하여 엘리트 대학과 기술 기업 간의 유대를 추적하였다.
• 정성적 및 정량적 분석을 수행하여 가치들이 어떻게 정의되고 구현되는지, 특히 권력 집중과의 관련성에서 평가하였다.

실험 결과

연구 질문

• RQ1 인용 횟수가 높은 기계학습 연구 논문에 어떤 가치들이 내재되어 있으며, 기술적 담론 내에서 어떻게 구현되고 있는가?
• RQ2 이러한 논문들이 사회적 수요나 잠재적 부정적 영향을 고려하여 프로젝트를 얼마나 정당화하고 있는가?
• RQ3 기관 소속과 자금 지원 원천은 기계학습 연구에서 강조되는 가치들과 얼마나 관련이 있는가?
• RQ4 성능과 새로움과 같은 핵심 가치들이 권력 집중을 강화하는 방식으로 어떻게 정의되고 적용되고 있는가?
• RQ5 상위 수준의 기계학습 컨ferences에서 홍보되는 가치들은 체계적 권력 비대칭성을 어떻게 반영하거나 재생산하고 있는가?

주요 결과

• 100편의 논문 중 15%만이 사회적 수요를 근거로 프로젝트를 정당화하여 실제 사회적 관련성에 대한 고려가 극히 미미함을 보여줌.
• 논문의 1%만이 잠재적 부정적 영향을 다루어 윤리적 사전 예측과 영향 평가의 심각한 격차를 드러냄.
• 성능, 일반화, 정량적 증거, 효율성, 새로움의 다섯 가지 가치가 가장 자주 정당화되었으며, 이들은 권력 집중 구조를 유리하게 만드는 방식으로 체계적으로 정의되어 있음.
• 새로움과 성능과 같은 가치들이 기존 기관과 기술 기업에 유리한 가정을 통해 구현되고 있음을 강력한 텍스트적 증거로 확인함.
• 분석 결과, 상위 기계학습 논문과 엘리트 대학, 주요 기술 기업 간의 점점 더 유착된 기관적 및 자금 지원 유대가 드러남.
• 기계학습 연구 내에서 59개의 구체적 가치를 식별하였으며, 상위 다섯 가지 가치는 주로 기술적이지만 적용 및 함의에서 사회적·정치적 성격을 띠고 있음.