[논문 리뷰] Bias in Data-driven AI Systems -- An Introductory Survey

Eirini Ntoutsi, Pavlos Fafalios외 21명|arXiv (Cornell University)|2020. 01. 14.

Ethics and Social Impacts of AI참고 문헌 86인용 수 21

한 줄 요약

이 종합적 서베이는 데이터 기반 AI 시스템의 편향에 대해 다학제적이고 종합적인 개요를 제공하며, 편향을 이해하고 완화하며 고려하는 데 접근 방식을 분류한다. 기술적 해법을 법적 및 윤리적 프레임워크와 통합하여, 사전 처리, 내재 처리, 후처리 기법을 통해 공정성 인식 설계가 필요하다고 강조한다. 순수 기술적 해결책의 한계와 법적 및 사회적 협력의 필요성을 부각시킨다.

ABSTRACT

AI-based systems are widely employed nowadays to make decisions that have far-reaching impacts on individuals and society. Their decisions might affect everyone, everywhere and anytime, entailing concerns about potential human rights issues. Therefore, it is necessary to move beyond traditional AI algorithms optimized for predictive performance and embed ethical and legal principles in their design, training and deployment to ensure social good while still benefiting from the huge potential of the AI technology. The goal of this survey is to provide a broad multi-disciplinary overview of the area of bias in AI systems, focusing on technical challenges and solutions as well as to suggest new research directions towards approaches well-grounded in a legal frame. In this survey, we focus on data-driven AI, as a large part of AI is powered nowadays by (big) data and powerful Machine Learning (ML) algorithms. If otherwise not specified, we use the general term bias to describe problems related to the gathering or processing of data that might result in prejudiced decisions on the bases of demographic features like race, sex, etc.

연구 동기 및 목표

• 데이터 기반 AI 시스템의 편향에 대해 기술적, 윤리적, 법적 시각을 통합한 광범위하고 다학제적인 개요를 제공하는 것.
• AI 의사결정에서 편향을 이해하고 완화하며 고려하기 위한 기술적 접근 방식을 식별하고 분류하는 것.
• 특히 유럽 연합의 규제적 맥락에서 AI 공정성의 법적 기초를 검토하고 현재 법률의 격차를 드러내는 것.
• 기술적 해법만으로는 부족하며, 기술자, 법적 전문가, 사회와의 다학제적 협력의 필요성을 강조하는 것.
• 미래의 연구가 윤리적으로 기반을 두고 법적으로 준수되며 사회적으로 책임감 있는 AI 시스템으로 나아가도록 이끄는 것.

제안 방법

• 편향 완화를 사전 처리(학습 데이터에서의 편향 수정), 내재 처리(공정성 인식 학습 알고리즘), 후처리(모델 출력 조정)의 세 단계로 분류.
• 기술적 및 윤리적 상충을 명확히 하기 위해 공정성의 형식적 정의(인구 통계적 평등, 동등한 기회, 등가된 오차)를 검토.
• 실제 사례 연구를 분석하여 실제 적용 사례를 설명: COMPAS(재범 예측에서의 인종 편향) 및 구글 광고(직업 광고에서의 성별 편향).
• 공정성 향상을 위한 GAN 기반의 합성 데이터 생성 기법을 검토하면서도, 대표성 문제와 편향 증폭 위험을 경고.
• 개발 팀의 인지 편향을 줄이기 위한 전략 제안: 다양성 증대 및 역공학적 기법을 통한 알고리즘 투명성 확보.
• 법적 및 규제적 발전을 검토: EU의 신뢰할 수 있는 AI를 위한 윤리 가이드라인과 데이터 품질에 관한 ISO 8000을 분석하여 AI 공정성과의 관련성을 평가.

실험 결과

연구 질문

• RQ1 편향은 데이터 기반 AI 시스템에 어떻게 유입되며, 학습 데이터와 모델 예측에서 불공정성의 주요 원인은 무엇인가?
• RQ2 AI 라이프사이클의 각 단계(사전, 내재, 후처리)에서 편향을 탐지하고 측정하며 완화하기 위한 기술적 방법은 무엇인가?
• RQ3 AI의 공정성은 어떻게 법적 및 윤리적으로 기반을 두며, 규제와 표준은 책임감 있는 AI 설계에 어떤 역할을 하는가?
• RQ4 기술적 해법만으로 체계적 사회적 편향을 어느 정도 해결할 수 있으며, 현재의 공정성 인식 기계학습 접근 방식의 한계는 무엇인가?
• RQ5 GAN 및 기타 생성 모델을 사용한 합성 데이터 생성에서 대표성과 공정성을 확보하는 데 있어 주요 과제는 무엇인가?

주요 결과

• AI 시스템의 편향은 역사적이고 사회적인 불평등에서 기인하며, 데이터 수집 및 모델 학습 과정에서 악화되며, COMPAS 및 구글 광고 사례에서 이를 확인할 수 있다.
• 사전 처리의 재가중, 내재 처리의 적대적 편향 제거, 후처리의 임계값 조정 등의 공정성 기술적 접근은 인구 통계적 격차를 줄일 수 있지만, 공정성과 예측 성능 사이의 상충 관계를 수반한다.
• 합성 공정 데이터 생성을 위해 생성 적대 네트워크(GAN)를 사용하는 것은 유망하지만, 학습 데이터에 편향이 존재할 경우 대표성 문제를 악화하거나 유지할 위험이 있다.
• 개발 팀 내 인지 편향, 특히 권위적인 집단이 정체성 범주에 대한 인식 부족이 AI 시스템에서 편향이 발생하는 데 있어 중요한 기여를 한다.
• EU의 현재 법적 프레임워크, 예를 들어 신뢰할 수 있는 AI를 위한 윤리 가이드라인과 초안 AI 법안은 아직 일반적이며 알고리즘 공정성에 대한 구속력 있는 기준을 제공하지 않아, 더 구체적인 규제의 필요성을 드러낸다.
• EU 회원국 간 알고리즘 공정성 규제에 대한 합의가 없으며, 효과적인 법률 제정을 위해서는 법적 전문가와 기술 연구자 간의 密접한 협력이 필요하다.