[논문 리뷰] A Normative approach to Attest Digital Discrimination

Natalia Criado, Xavier Ferrer Aran외 1명|arXiv (Cornell University)|2020. 07. 14.

Ethics and Social Impacts of AI참고 문헌 14인용 수 6

한 줄 요약

이 논문은 기계학습 시스템 내 디지털 차별을 탐지하기 위해 형식화된 차별 금지 원칙을 사용하는 규범적 프레임워크를 제안한다. 이는 보호 대상 특성과 결과를 분석하여 기계학습 모델이 이러한 원칙을 위반하는지 확인하는 알고리즘을 도입함으로써, 통계나 기계학습 전문 지식이 없는 사용자도 공정성을 평가할 수 있도록 한다.

ABSTRACT

Digital discrimination is a form of discrimination whereby users are automatically treated unfairly, unethically or just differently based on their personal data by a machine learning (ML) system. Examples of digital discrimination include low-income neighbourhood's targeted with high-interest loans or low credit scores, and women being undervalued by 21% in online marketing. Recently, different techniques and tools have been proposed to detect biases that may lead to digital discrimination. These tools often require technical expertise to be executed and for their results to be interpreted. To allow non-technical users to benefit from ML, simpler notions and concepts to represent and reason about digital discrimination are needed. In this paper, we use norms as an abstraction to represent different situations that may lead to digital discrimination. In particular, we formalise non-discrimination norms in the context of ML systems and propose an algorithm to check whether ML systems violate these norms.

연구 동기 및 목표

• 기계학습에 의해 구동되는 자동화된 의사결정 시스템에서 증가하는 디지털 차별 문제에 대응한다.
• 통계나 기계학습 전문 지식이 없는 비기술자도 기계학습 시스템이 잠재적으로 차별적인지 평가할 수 있도록 한다.
• 직접적, 간접적, 암묵적 차별을 기계학습 환경 내에서 규범적 규칙으로 형식화한다.
• 차별 금지 원칙 준수 여부를 점검하고 위반 조건을 식별할 수 있는 실용적인 알고리즘을 개발한다.
• 기계학습 시스템이 차별 없이 작동한다고 간주되는 조건에 대한 투명성을 제공한다.

제안 방법

• 입력 특성 𝒫 (보호 대상 특성), 입력 특성 𝒫, 출력 특성 O를 포함하며, 모두 이산 도메인을 가진 기계학습 시스템을 정의한다.
• 보호 대상 특성과 모델 출력 간의 논리적 제약 조건으로 차별 금지 원칙을 형식화하며, 명시적, 암묵적, 간접적 차별을 구분한다.
• 노드가 특성이고, 간선이 방정정식을 통해 조건부 관계를 표현하는 방향성 있는 그래프로 원칙을 표현한다.
• 카이제곱 검정과 같은 통계적 검정을 사용하여 보호 대상 특성과 결과 간의 독립성을 평가하고 간접적 차별 가능성을 식별한다.
• LIME과 같은 사후 해석 기법을 통합하여 위반 사례에 대한 반사적 설명을 생성한다.
• 모델 출력이 규범적 제약 조건을 충족하는지 검사하고 특정 가정 하에 위반 사항을 보고하는 검증 알고리즘을 설계한다.

실험 결과

연구 질문

• RQ1 기계학습 시스템 맥락에서 차별 금지 원칙을 어떻게 형식화할 수 있으며, 이를 통해 자동화된 공정성 평가를 지원할 수 있는가?
• RQ2 기술적 전문 지식이 없이도 직접적, 간접적, 암묵적 디지털 차별을 탐지할 수 있는 알고리즘적 접근은 무엇인가?
• RQ3 규범적 추론을 통해 기계학습 시스템을 차별 없음으로 간주할 수 있는 조건은 무엇인가?
• RQ4 제안된 프레임워크는 실제 사례 연구에 어떻게 적용되어 실용성과 효과성을 검증할 수 있는가?
• RQ5 해석 가능한 인공지능 기법은 기계학습 시스템 내 규범 위반의 해석 가능성을 어떻게 향상시킬 수 있는가?

주요 결과

• 제안된 규범적 프레임워크는 복잡한 공정성 지표를 이해하기 쉬운 원칙으로 추상화함으로써 비기술자도 디지털 차별 문제를 논리적으로 다룰 수 있도록 한다.
• 검증 알고리즘이 보호 대상 특성과 결과 간의 통계적 독립성을 분석하여 기계학습 시스템 내 차별 금지 원칙 위반 가능성을 성공적으로 식별한다.
• 이 방법은 형식화된 논리적 및 통계적 제약 조건을 통해 명시적, 암묵적, 간접적 차별을 구분할 수 있다.
• 사례 연구를 통해 알고리즘이 성별 및 소득 집단에 대한 불균형 영향과 같은 차별적 패턴을 탐지할 수 있음을 입증한다.
• LIME과 같은 해석 가능한 인공지능 기법과의 통합은 발견된 위반 사항에 대한 반사적 설명을 생성함으로써 투명성을 향상시킨다.
• 이 프레임워크는 기계학습 시스템이 차별 없이 작동한다고 간주되는 명시적 가정을 제공하여 감사 가능성과 규제 준수를 지원한다.