[논문 리뷰] An End-To-End Machine Learning Pipeline That Ensures Fairness Policies

Samiulla Shaikh, Harit Vishwakarma외 4명|arXiv (Cornell University)|2017. 10. 18.

Ethics and Social Impacts of AI참고 문헌 9인용 수 8

한 줄 요약

이 논문은 자연어 정책을 자동으로 해석하고, 데이터 사용을 위반 여부로 모니터링하며, 모든 활동을 불변 블록체인 레지스트리에 기록함으로써 공정성 정책 준수를 보장하는 엔드 투 엔드 기계학습 파이프라인을 제안한다. 이 시스템은 자연어 이해를 통해 정책 민감 속성과 데이터 필드를 매핑하고, 입력 변형을 통한 공정성 테스트를 적용하며, 블록체인 기반 로깅을 통해 감사 가능성을 확보한다. 이는 수동 준수 노력과 ML 시스템의 투명성을 크게 감소시키고 향상시킨다.

ABSTRACT

In consequential real-world applications, machine learning (ML) based systems are expected to provide fair and non-discriminatory decisions on candidates from groups defined by protected attributes such as gender and race. These expectations are set via policies or regulations governing data usage and decision criteria (sometimes explicitly calling out decisions by automated systems). Often, the data creator, the feature engineer, the author of the algorithm and the user of the results are different entities, making the task of ensuring fairness in an end-to-end ML pipeline challenging. Manually understanding the policies and ensuring fairness in opaque ML systems is time-consuming and error-prone, thus necessitating an end-to-end system that can: 1) understand policies written in natural language, 2) alert users to policy violations during data usage, and 3) log each activity performed using the data in an immutable storage so that policy compliance or violation can be proven later. We propose such a system to ensure that data owners and users are always in compliance with fairness policies.

연구 동기 및 목표

• 분산된 역할(데이터 생성자, 엔지니어, 사용자) 간에 공정성 보장이 수동이고 실수하기 쉬운 상황에서 ML 시스템의 공정성 확보 문제를 해결하기 위해.
• 법률 또는 규정 문서와 같은 자연어로 작성된 공정성 정책을 자동으로 해석할 수 있도록 하기 위해.
• 데이터 접근, 특징 공학, 모델 훈련, 배포 단계에서 정책 위반 여부를 실시간으로 감지하고 사용자에게 알리기 위해.
• 준수 검증과 책임 소재 규명을 위해 모든 데이터 처리 활동을 감사 가능한 불변 로그로 기록하기 위해.
• 내부 표현이 알려지지 않거나 투명하지 않은 블랙박스 ML 시스템에서도 공정성 테스트를 수행할 수 있도록 하기 위해.

제안 방법

• 비구조화된 정책 문서에서 민감 속성과 정책 제약 조건을 추출하기 위해 자연어 처리(NLP) 기법을 사용한다.
• 공동 온톨로지 기반으로 정책에서 정의한 민감 속성과 실제 데이터 필드를 정렬하며, 연결된 개념 계층 구조를 통해 동의어 및 다국어 변형을 처리한다.
• 민감한 특성(예: 성별, 인종)을 변형시켜 출력의 편차를 측정함으로써 공정성 테스트를 수행하며, FairML와 원리적으로 유사하지만 더 높은 추상화 수준에서 수행된다.
• 블록체인 또는 유사 기술을 사용하여 모든 데이터 접근 및 공정성 검사 결과를 기록하는 불변 로깅 레이어를 구현하여 감사 가능성을 확보한다.
• 구조화된 데이터와 비구조화된 데이터를 모두 지원하며, 스키마가 명시되지 않은 텍스트에서 특징을 추출할 경우에만 수동 입력이 필요하다.
• ML 워크플로우에 통합되어 데이터 처리나 모델 추론 중 정책 위반 여부를 실시간으로 감지할 경우 경고를 제공한다.

실험 결과

연구 질문

• RQ1 자연어로 표현된 공정성 정책을 어떻게 자동으로 해석하고 ML 파이프라인의 데이터 필드에 매핑할 수 있는가?
• RQ2 데이터 접근, 특징 공학, 또는 모델 훈련 중에 실시간으로 정책 위반 여부를 감지할 수 있는 메커니즘은 무엇인가?
• RQ3 내부 표현이 알려지지 않거나 투명하지 않은 블랙박스 ML 모델에서 공정성은 어떻게 평가할 수 있는가?
• RQ4 불변 로깅은 ML 시스템의 감사 가능성과 준수 검증을 어떻게 지원하는가?
• RQ5 다양한 언어나 온톨로지 간의 의미적 및 언어적 변형을 어떻게 처리할 수 있는가?

주요 결과

• 공동 온톨로지와 NLP를 활용해, 문서 및 데이터 소스 간 이름이 다를 경우에도 정책 민감 속성을 데이터 필드에 성공적으로 매핑하였다.
• 데이터 처리 중 실시간 위반 경고가 발생하여 모델 배포 이전에 사전 수정이 가능해졌다.
• 내부 표현이 알려지지 않은 블랙박스 모델에서도 민감한 특성을 변형시키고 출력 이동을 측정함으로써 공정성 테스트를 수행할 수 있었다.
• 불변 로그를 통해 준수 증거를 확보할 수 있었으며, 데이터 소유자는 사용 내역을 추적하고 사용자는 공정성 정책 준수를 입증할 수 있었다.
• 정책 해석 및 준수 평가의 수동 작업을 줄여 산업 전반의 표준화를 위한 확장 가능한 기반을 제공하였다.
• COMPAS 재범 예측 데이터셋에 대한 사례 연구를 통해 자동 의사결정 과정에서 성별 기반 편향과 정책 위반을 탐지함을 입증하였다.