[논문 리뷰] Causal effect of racial bias in data and machine learning algorithms on user persuasiveness & discriminatory decision making: An Empirical Study

Kinshuk Sengupta, Praveen Ranjan Srivastava|arXiv (Cornell University)|2022. 01. 22.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 사례 기반 연구는 훈련 데이터 및 기계 학습 모델의 인종적 편향이 사용자의 설득력과 의사결정에 미치는 영향을 조사한다. 대조 실험과 역행성 분석을 활용한 통제된 실험을 통해, 편향된 AI 모델이 사용자의 설득력을 감소시키고 의사결정을 왜곡함을 입증하며, NLP 시스템에서 공정성과 신뢰성을 확보하기 위해 윤리적 AI 설계의 필요성을 강조한다.

ABSTRACT

Language data and models demonstrate various types of bias, be it ethnic, religious, gender, or socioeconomic. AI/NLP models, when trained on the racially biased dataset, AI/NLP models instigate poor model explainability, influence user experience during decision making and thus further magnifies societal biases, raising profound ethical implications for society. The motivation of the study is to investigate how AI systems imbibe bias from data and produce unexplainable discriminatory outcomes and influence an individual's articulateness of system outcome due to the presence of racial bias features in datasets. The design of the experiment involves studying the counterfactual impact of racial bias features present in language datasets and its associated effect on the model outcome. A mixed research methodology is adopted to investigate the cross implication of biased model outcome on user experience, effect on decision-making through controlled lab experimentation. The findings provide foundation support for correlating the implication of carry-over an artificial intelligence model solving NLP task due to biased concept presented in the dataset. Further, the research outcomes justify the negative influence on users' persuasiveness that leads to alter the decision-making quotient of an individual when trying to rely on the model outcome to act. The paper bridges the gap across the harm caused in establishing poor customer trustworthiness due to an inequitable system design and provides strong support for researchers, policymakers, and data scientists to build responsible AI frameworks within organizations.

연구 동기 및 목표

• 언어 데이터셋의 인종적 편향이 사용자의 설득력과 의사결정 결과에 미치는 인과적 영향을 조사하기 위해.
• 사용자가 모델 생성 출력에 의존할 때 편향된 AI 모델이 개인의 의사결정 과정에 미치는 영향을 조사하기 위해.
• 모델의 설명 가능성과 편향이 AI 보조 의사결정에서 사용자 신뢰와 공정성에 어떻게 악영향을 미치는지 평가하기 위해.
• 편향된 데이터가 차별적 결과와 AI 상호작용에서 사용자 표현력 저하와 연결됨을 실증적으로 입증하기 위해.
• 실세계 응용에서 편향된 모델 설계의 해로움을 규명하여 책임감 있는 AI 프레임워크 개발을 뒷받침하기 위해.

제안 방법

• 정량적 실험과 사용자 행동에 대한 정성적 분석을 융합한 혼합 방법 연구 설계를 사용하였다.
• 훈련 데이터의 인종적 편향 특성의 영향을 분리하기 위해 대조적 시나리오를 활용한 통제 실험을 실시하였다.
• 인종적으로 편향된 데이터셋으로 훈련된 NLP 모델을 활용하여 사용자의 의사결정 및 설득력에 미치는 영향을 평가하였다.
• 편향된 모델 출력과 비편향된 모델 출력을 상호작용했을 때 사용자 행동과 의사결정 품질의 변화를 측정하였다.
• 데이터 및 모델의 편향이 사용자 결과에 미치는 직접적 영향을 평가하기 위해 인과 추론 기법을 적용하였다.
• 사용자 응답과 행동 지표를 수집하여 설득력과 의사결정 일관성의 변화를 분석하였다.

실험 결과

연구 질문

• RQ1 사용자가 AI 생성 출력에 의존할 때, 훈련 데이터의 인종적 편향이 사용자의 설득력에 어떤 영향을 미치는가?
• RQ2 기계 학습 모델에 인종적 편향이 존재할 경우, 개인의 의사결정 과정이 어느 정도 변화하는가?
• RQ3 편향된 데이터, 모델 행동, AI 보조 의사결정에서 사용자 신뢰 사이의 인과 관계는 무엇인가?
• RQ4 모델의 설명 가능성은 편향이 사용자 의사결정과 표현력에 미치는 영향을 어떻게 조절하는가?
• RQ5 편향된 AI 시스템은 사용자 중심 NLP 응용에서 어떻게 차별적 결과를 초래하는가?

주요 결과

• 사용자가 모델 생성 응답에 의존할 경우, 훈련 데이터의 인종적 편향이 사용자의 설득력을 상당히 감소시킨다.
• 편향된 모델 출력에 노출된 사용자는 차별적 결과를 선호하는 의사결정 행동을 보였다.
• 편향된 시스템 설계로 인해 사용자 신뢰성과 의사결정 품질에 측정 가능한 부정적 영향이 있었다.
• 편향된 모델은 특히 설득적 맥락에서 사용자 표현의 명료성과 효과성을 떨어뜨렸다.
• 연구 결과는 편향된 데이터, 모델 행동, 하류 사용자 수준의 차별적 결과 사이에 인과적 연결 고리가 있음을 지지한다.
• 연구는 AI 개발 프로세스에서 개선된 모델 설명 가능성과 공정성 감사의 필요성을 강조한다.