[논문 리뷰] Fair Pipelines

Amanda Bower, Sarah N. Kitchen외 4명|arXiv (Cornell University)|2017. 07. 03.

Ethics and Social Impacts of AI참고 문헌 4인용 수 7

한 줄 요약

이 논문은 복합 기계학습 결정에서의 공정성을 분석함으로써 다단계 과정을 거쳐 공정성이 어떻게 전파되는지 분리하는 Fair Pipelines 프레임워크를 소개한다. (1+ε)-등비 기회 기준 하에서 조건부로 공정한 개별 구성 요소가 전체 파이프라인에서 공정하지 않을 수 있음을 보여주지만, 공정성이 유지되는 조건을 규명함으로써 실제 결정 시스템에서의 견고한 공정성 기반을 제공한다.

ABSTRACT

This work facilitates ensuring fairness of machine learning in the real world by decoupling fairness considerations in compound decisions. In particular, this work studies how fairness propagates through a compound decision-making processes, which we call a pipeline. Prior work in algorithmic fairness only focuses on fairness with respect to one decision. However, many decision-making processes require more than one decision. For instance, hiring is at least a two stage model: deciding who to interview from the applicant pool and then deciding who to hire from the interview pool. Perhaps surprisingly, we show that the composition of fair components may not guarantee a fair pipeline under a $(1+\varepsilon)$-equal opportunity definition of fair. However, we identify circumstances that do provide that guarantee. We also propose numerous directions for future work on more general compound machine learning decisions.

연구 동기 및 목표

• 기존 알고리즘 공정성 연구가 일반적으로 단일 결정에 집중하는 데 비해, 복합 결정 과정에서의 공정성을 다루기 위한 연구.
• 채용 또는 대출 승인 워크플로우와 같은 다단계 결정보도에서 공정성이 어떻게 전파되는지 분석하기 위한 연구.
• 파이프라인의 공정한 구성 요소들이 함께 작용할 때 전체 결과가 공정해지는 조건을 규명하기 위한 연구.
• 순차적 결정을 포함하는 복잡한 실제 기계학습 시스템에서의 공정성 보장을 위한 이론적 기반 제공.

제안 방법

• 논문은 입력 데이터에 기반해 각각의 결정을 내리는 순차적인 기계학습 구성 요소로 이루어진 파이프라인으로 복합 결정을 모델링한다.
• 표준 등비 기회를 다단계 환경으로 확장한 (1+ε)-등비 기회 기준을 사용해 파이프라인의 공정성에 대한 형식적 정의를 제안한다.
• 수학적 조합을 통해 이전 단계의 공정성이 이후 단계의 공정성에 어떻게 영향을 미치는지 분석함으로써 공정성 전파를 분석한다.
• 결정 임계값과 특성 분포 간의 상호작용에 초점을 맞춰, 공정한 구성 요소의 조합이 공정한 파이프라인을 만들어내는 데 필요한 충분조건을 도출한다.
• 실제 응용 사례인 채용 및 대출과 같은 분야에 프레임워크를 적용하여 실용적 함의를 설명한다.
• 이론적 분석은 단일 단계 간의 공정성 유지에 기여하는 구조적 특성(예: 단조성 및 校정)을 규명함으로써 뒷받침된다.

실험 결과

연구 질문

• RQ1 (1+ε)-등비 기회 정의 하에서 파이프라인의 공정한 구성 요소 조합이 전체 파이프라인을 공정하게 만드는 조건은 무엇인가?
• RQ2 개별 구성 요소가 공정한 경우, 순차적 결정보도 단계를 거쳐 공정성이 떨어지거나 전파되는 방식은 어떻게 되는가?
• RQ3 파이프라인 구성 요소의 구조적 또는 분포적 특성 중에서 단계 간 공정성 유지에 기여하는 요소는 무엇인가?
• RQ4 자원 제약 조건이나 제한된 데이터 하에서 결정이 내려질 경우, 공정성 보장이 유지될 수 있는가?
• RQ5 채용 또는 신용 평가와 같은 실제 응용에 있어서 공정성 조합의 함의는 무엇인가?

주요 결과

• 공정한 구성 요소의 조합이 (1+ε)-등비 기회 정의 하에서 항상 공정한 파이프라인을 보장하지는 않으며, 순차적 결정 과정에서 공정성이 항상 유지되지 않음을 입증한다.
• 단조성 및 단계 간 校정과 같은 특정 구조적 조건이 존재할 경우, 공정한 구성 요소가 공정한 파이프라인을 만들어낼 수 있음을 규명한다.
• 논문은 선택 편향과 파이프라인 단계 간 특성 이동으로 인해 조건부로 공정한 구성 요소일지라도 공정성 저하가 발생할 수 있음을 밝힌다.
• 이론적 분석을 통해 공정성 전파가 결정 임계값과 단계 간 특성 분포 간 상호작용에 의해 결정됨을 보여준다.
• 이 프레임워크는 순차적 결정이 본질적으로 포함된 복잡한 실제 시스템에서 공정성 인식 파이프라인을 설계하는 데 기초를 제공한다.