[논문 리뷰] Studying the Transfer of Biases from Programmers to Programs.

Tore Pedersen, Christian Johansen외 1명|arXiv (Cornell University)|2020. 05. 17.

Explainable Artificial Intelligence (XAI)참고 문헌 69인용 수 7

한 줄 요약

이 논문은 프로그래머의 편향이 문화적 배경과 프로그래밍 맥락에 의해 형성되며, 은유를 통해 코드로 이행되어 훈련 데이터와 무관한 기계적 편향을 초래할 수 있음을 조사한다. 실험적 및 비교적 방법을 통해 문화적 은유가 프로그래밍 선택에 영향을 주며, 맥락적 은유가 이러한 영향을 증폭하거나 감소시킬 수 있음을 보여주며, 데이터 기반 요소 외의 새로운 알고리즘적 편향 원천을 드러낸다.

ABSTRACT

It is generally agreed that one origin of machine bias is resulting from characteristics within the dataset on which the algorithms are trained, i.e., the data does not warrant a generalized inference. We, however, hypothesize that a different `mechanism', hitherto not articulated in the literature, may also be responsible for machine's bias, namely that biases may originate from (i) the programmers' cultural background, such as education or line of work, or (ii) the contextual programming environment, such as software requirements or developer tools. Combining an experimental and comparative design, we studied the effects of cultural metaphors and contextual metaphors, and tested whether each of these would `transfer' from the programmer to program, thus constituting a machine bias. The results show (i) that cultural metaphors influence the programmer's choices and (ii) that `induced' contextual metaphors can be used to moderate or exacerbate the effects of the cultural metaphors. This supports our hypothesis that biases in automated systems do not always originate from within the machine's training data. Instead, machines may also `replicate' and `reproduce' biases from the programmers' cultural background by the transfer of cultural metaphors into the programming process. Implications for academia and professional practice range from the micro programming-level to the macro national-regulations or educational level, and span across all societal domains where software-based systems are operating such as the popular AI-based automated decision support systems.

연구 동기 및 목표

• 프로그래머의 문화적 배경과 맥락적 프로그래밍 환경이 기계적 편향에 기여하는지 조사하기.
• 문화적 은유가 프로그래밍 결정과 코드 구조에 영향을 미치는지 검토하기.
• 맥락적 은유(예: 도구 또는 요구사항)가 문화적 은유 효과를 조절하거나 심화시킬 수 있는지 탐색하기.
• 편향이 인공지능 시스템에서 반드시 훈련 데이터의 편향에서 비롯된다는 우세한 가정을 도전하기.
• 교육, 규제 및 시스템 설계에 영향을 미치는 소프트웨어 개발에서의 편향 전파 신규 메커니즘을 규명하기.

제안 방법

• 다양한 문화적 배경을 가진 프로그래머를 대상으로 제어된 실험을 수행하여 프로그래밍 과제에서 은유 사용을 평가한다.
• 문화적 은유(예: 교육 또는 경력 경험과 연관된 은유)를 프로그래밍 과제에서 독립 변수로 사용한다.
• 개발 도구나 요구사항 명세를 통해 맥락적 은유를 도입하여 프로그래밍 환경을 조작한다.
• 그룹 간의 프로그래밍 결과를 비교하여 코드 구조, 이름 지정, 논리적 구성의 차이를 측정한다.
• 문화적 은유와 맥락적 은유의 영향을 분리하기 위해 비교 분석을 적용한다.
• 은유가 프로그래머에서 프로그램으로 이행되는 과정을 추적하기 위해 정성적 및 정량적 분석을 사용한다.

실험 결과

연구 질문

• RQ1 프로그래머가 사용하는 문화적 은유가 생산하는 코드의 구조와 논리에 영향을 미치는가?
• RQ2 개발 환경의 맥락적 은유가 문화적 은유가 코드에 미치는 영향을 조절하거나 악화시킬 수 있는가?
• RQ3 문화적 배경에 뿌리를 둔 프로그래머의 편향이 소프트웨어 시스템에 얼마나 깊이 각인되는가?
• RQ4 자동화된 시스템에서의 기계적 편향은 항상 편향된 훈련 데이터의 결과인가, 아니면 프로그래머 수준의 영향에서 기인할 수 있는가?
• RQ5 프로그래밍 환경의 은유가 문화적 편향이 코드로 전이되는 방식을 어떻게 형성하는가?

주요 결과

• 문화적 은유는 프로그래머가 코드의 이름 지정, 구조, 논리적 구성에서의 선택에 크게 영향을 미친다.
• 개발 도구나 요구사항에 내장된 맥락적 은유는 문화적 은유가 코드에 미치는 영향을 증폭하거나 감소시킬 수 있다.
• 문화적 은유가 코드로 전이되는 것은 훈련 데이터와 무관한 소프트웨어 시스템 내 편향 전파의 새로운 메커니즘을 보여주며, 이는 기존의 데이터 중심적 해석을 넘어서는 것이다.
• 동일한 과제에 노출되었을 때, 서로 다른 문화적 배경을 가진 프로그래머는 측정 가능한 차이를 보이며, 이는 문화적 영향이 구현 방식에 미치는 영향을 시사한다.
• 이 연구는 자동화된 시스템의 편향이 데이터 외에도 프로그래밍 과정의 인간적 요소와 환경적 요소에서 기인할 수 있음을 드러내며, 이는 편향이 오직 데이터 문제라는 지배적인 서사를 도전한다.
• 이러한 결과는 인공지능의 공정성에 있어 프로그래머와 환경적 요소를 고려할 필요성을 강조한다.