[논문 리뷰] Attesting Biases and Discrimination using Language Semantics

Xavier Ferrer Aran, José M. Such외 1명|arXiv (Cornell University)|2019. 09. 10.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 언어 의미 분석을 통해 AI 에이전트에서 발생하는 디지털 차별을 탐지하고 증명하는 프레임워크를 제안한다. 주로 인간의 무의식적 편견이 언어에 어떻게 내재되어 있는지에 초점을 맞추며, NLP 시스템이 이러한 편견을 어떻게 물려받는지 분석한다. 언어 코퍼스(인간이 작성한 것과 AI가 생성한 것 모두)를 활용하여 차별적 패턴을 식별함으로써, 블랙박스 AI 시스템의 감사 및 에이전트가 스스로의 편견을 인지하고 이를 완화할 수 있도록 하는 데 응용 가능하다.

ABSTRACT

AI agents are increasingly deployed and used to make automated decisions that affect our lives on a daily basis. It is imperative to ensure that these systems embed ethical principles and respect human values. We focus on how we can attest to whether AI agents treat users fairly without discriminating against particular individuals or groups through biases in language. In particular, we discuss human unconscious biases, how they are embedded in language, and how AI systems inherit those biases by learning from and processing human language. Then, we outline a roadmap for future research to better understand and attest problematic AI biases derived from language.

연구 동기 및 목표

• 개인 및 집단에 영향을 미치는 자동 결정을 내리는 AI 시스템에서 증가하는 디지털 차별 문제를 해결하기 위해.
• 무의식적 인간 편견이 언어에 어떻게 코딩되어 있으며, 훈련 데이터를 통해 NLP 시스템이 이를 어떻게 물려받는지 조사하기 위해.
• 특히 블랙박스 시스템에서 사용되는 언어 코퍼스에 내재된 문제적 편향을 탐지하기 위한 방법을 개발하기 위해.
• AI가 생성한 텍스트가 훈련 데이터의 편향을 드러내는지 여부를 탐색하여, 투명하지 않은 모델의 간접 감사를 가능하게 하기 위해.
• AI 에이전트가 의미 분석을 통해 스스로 학습한 편견을 인식하고 수정할 수 있는 잠재력을 탐구하기 위해.

제안 방법

• 편향을 나타내는 의미적 연관성을 분석하기 위해 인간이 작성한 언어 코퍼스와 AI가 생성한 언어 코퍼스를 활용하기 위해.
• 단어 임베딩 분석 기법을 적용하여 언어 모델 내에서 암묵적인 연관성(예: 성별 또는 인종적 스테레오타입)을 탐지하기 위해.
• 의식적 연관성 테스트(Implicit Association Test, IAT)를 개념적 모델로 활용하여 텍스트 내에서 사회적 범주와 특성 간의 연관성 강도를 탐지하기 위해.
• 훈련 데이터에 직접 접근할 수 없더라도, AI가 생성한 텍스트(예: 개인 보조원의 대화 기록)를 분석하여 훈련 데이터에 내재된 편향을 유추하기 위해.
• 실제 사례(예: 마이크로소프트의 타이 챗봇)를 활용해 인간 사용자와의 상호작용을 통해 강화 학습 시스템에서 편향의 진화를 연구하기 위해.
• 데이터 기반 NLP 방법과 지식 기반 규범 시스템을 통합하여 AI 에이전트가 스스로의 편견을 인식하고 대응할 수 있도록 하기 위해.

실험 결과

연구 질문

• RQ1 무의식적 인간 편견은 언어에 어떻게 코딩되어 있으며, NLP 시스템에 어떻게 전이되는가?
• RQ2 블랙박스 AI 시스템의 훈련 데이터에 존재하는 편향을 AI가 생성한 텍스트 코퍼스가 어느 정도 반영할 수 있는가?
• RQ3 AI 에이전트가 사용하는 언어의 의미 분석을 통해 숨겨진 차별적 패턴이나 사회적 규범을 밝혀낼 수 있는가?
• RQ4 강화 학습 에이전트는 인간 상호작용을 통해 사회적 편견을 어떻게 내재하고 확산시키는가?
• RQ5 AI 에이전트가 스스로의 학습된 편견을 인식하고 수정할 수 있도록 하는 메커니즘은 무엇인가?

주요 결과

• 단어 임베딩 모델은 '리더'를 남성 이름과 연관지우고 '헬퍼'를 여성 이름과 연관지우는 강력한 성별 스테레오타입을 보이며, 이는 NLP 시스템이 사회적 편견을 물려받고 있음을 확인한다.
• 검색 엔진에서 블랙 사운드 이름에 대해 화이트 사운드 이름보다 더 많은 기소 기록을 제안하는 것으로 관찰되었으며, 이는 언어 모델이 인종적 편견을 내재하고 증폭시킬 수 있음을 시사한다.
• AI가 생성한 텍스트(예: 개인 보조원의 대화 기록)는 데이터 소스가 알려지지 않더라도 훈련 데이터의 잠재적 편향을 반영할 수 있다.
• 마이크로소프트의 타이와 같은 강화 학습 시스템은 사용자 상호작용을 통해 빠르게 모욕적이거나 차별적인 언어를 습득하고 확산시킬 수 있으며, 이는 편향 증폭의 위험을 보여준다.
• AI가 생성한 언어의 의미 분석을 활용해 블랙박스 시스템을 간접적으로 감사하고 훈련 데이터의 특성을 유추할 잠재력이 매우 크다.
• 데이터 기반 NLP와 규범 기반 지식 시스템을 융합하면 AI 에이전트가 스스로의 편견을 인식하고 완화할 수 있으며, 이는 자율적이고 윤리적인 AI의 길을 열어줄 것이다.