[논문 리뷰] Disembodied Machine Learning: On the Illusion of Objectivity in NLP

Zeerak Waseem, Smarika Lulz외 2명|arXiv (Cornell University)|2021. 01. 28.

Ethics and Social Impacts of AI참고 문헌 36인용 수 9

한 줄 요약

이 논문은 자연어처리(NLP)에서의 객관성은 환상에 불과하며, 기계학습 모델이 데이터 수집부터 모델 훈련에 이르기까지 전반적인 파이프라인에서 본질적으로 주관적이고 몸으로 체화된 선택을 내재하고 있다는 점을 주장한다. 편향 제거 노력은 편향이 피할 수 없고 체계적인 성격을 띠기 때문에 근본적으로 제한되어 있으며, 오히려 사회적 소외를 의미적으로 다루기 위해 주관적 위치성(지위)을 수용할 것을 주장한다.

ABSTRACT

Machine Learning seeks to identify and encode bodies of knowledge within provided datasets. However, data encodes subjective content, which determines the possible outcomes of the models trained on it. Because such subjectivity enables marginalisation of parts of society, it is termed (social) `bias' and sought to be removed. In this paper, we contextualise this discourse of bias in the ML community against the subjective choices in the development process. Through a consideration of how choices in data and model development construct subjectivity, or biases that are represented in a model, we argue that addressing and mitigating biases is near-impossible. This is because both data and ML models are objects for which meaning is made in each step of the development pipeline, from data selection over annotation to model training and analysis. Accordingly, we find the prevalent discourse of bias limiting in its ability to address social marginalisation. We recommend to be conscientious of this, and to accept that de-biasing methods only correct for a fraction of biases.

연구 동기 및 목표

• 편향을 유한하고 제거 가능한 문제로 보는 NLP 분야의 지배적 논의를 비판하기 위해.
• 기계학습에서 '객관성'을 추구하는 것이 데이터 및 모델 설계에서 몸으로 체화된 정치적 선택을 가리키는 방식임을 드러내기 위해.
• 편향 제거 기법은 체계적 편향의 일부분만 다루므로 사회적 소외를 해결하는 데는 부적절하다고 주장하기 위해.
• 편향 제거에서 벗어나 정치적·사회적 몸으로 체화된 인식을 반영하는 반성적이고 위치성 인식이 있는 기계학습 개발로의 전환을 주장하기 위해.
• 편향에 관한 논의를 재구성하여 소외된 집단의 삶의 경험과 주관성을 중심에 두기 위해.

제안 방법

• 기계학습에서의 객관성 주장이 탈신체적 주관성의 한 형태임을 드러내기 위해 도나 하라웨이의 '신의 기술' 개념을 적용하여 비판한다.
• 데이터 선택, 주석 처리, 모델 훈련 과정이 본질적으로 사회적, 문화적, 정치적 주관성을 내재하고 있음을 분석한다.
• 품사 태깅 체계와 단어 임베딩 등의 NLP 사례를 통해 기술적 기준이 특정 언어적 및 사회적 가정을 반영하고 있음을 보여준다.
• 전이 학습과 다중 작업 학습이 원칙적으로 모델에 맥락과 저자 정체성을 체화시킬 수 있는 수단임을 분석한다.
• 페미니즘 과학·기술연구(STEM)를 활용하여 편향을 제거할 수 있는 결함이 아니라, 지속적인 반성 필요성이 요구되는 정치적 조건으로 재구성한다.
• 해결책 중심의 편향 접근을 반성적 프레임워크로 대체하여 연구자의 자기 위치성과 그 결과를 중심에 두는 것을 제안한다.

실험 결과

연구 질문

• RQ1 NLP에서 객관성의 환상은 데이터 및 모델 개발에 내재된 주관적·몸으로 체화된 선택을 어떻게 가리키는가?
• RQ2 왜 기계학습에서의 편향 제거 접근은 체계적 사회적 소외를 다루는 데서 본질적으로 제한되어 있는가?
• RQ3 데이터 및 모델 설계 선택은 어떻게 지배적인 사회적 지위를 반영하고 강화하는가?
• RQ4 기계학습 연구는 어떻게 해결책 중심의 편향 제거 모델에서 주관적 위치성과 정치의식에 기반한 모델로 전환할 수 있는가?
• RQ5 품사 태깅 체계와 단어 임베딩 같은 기술적 산물이 사회적 편향을 어떻게 내재하고 지속시키는가?

주요 결과

• 기계학습에서 객관성 추구는 지배적이고 탈신체적인 시각을 우선시하며 창작자와 데이터 출처의 주관성을 가리키는 政治적 행위이다.
• NLP 모델의 편향은 제거할 수 있는 결함이 아니라, 지식 생성의 몸으로 체화된, 특정 위치에 기반한 성격을 지닌 불가피한 특성이다.
• 단어 임베딩 편향 제거와 같은 편향 제거 기법은 성별 및 사회적 구조의 잔여 흔적을 남기며, 완전한 편향 제거가 불가능하다는 것을 입증한다.
• 심지어 품사 태깅 체계(Penn Treebank 등)와 같은 보편적으로 중립적인 도구조도 특정 언어 이론을 반영하여 일부 언어 형식을 다른 것들보다 우선시한다.
• 전이 학습과 다중 작업 학습은 맥락과 저자 정체성을 모델에 일부 반영할 수 있는 길을 열어주지만, 어떤 시각을 포함할지를 선택하는 것은 여전히 정치적 결정이다.
• 기계학습에서 편향에 관한 현재의 논의는 연구 파이프라인에 내재된 권력 역학을 고려하지 못해, 계속해서 소수자 목소리가 소외되는 결과를 낳고 있다.