[논문 리뷰] Individual Fairness in Pipelines

Cynthia Dwork, Christina Ilvento외 1명|arXiv (Cornell University)|2020. 01. 01.

Ethics and Social Impacts of AI참고 문헌 23인용 수 11

한 줄 요약

이 논문은 개인의 공정성을 보장하기 위한 형식적 프레임워크를 제안한다. 이는 개인들이 단계적으로 걸러지거나 선택되는 순차적 워크플로우(파이프라인 시스템)에서, 후속 결정이 코hort의 구성에 의존하는 상황을 대상으로 한다. 논문은 코hort에 의존하는 점수 매기기로 인해 단순히 공정한 구성 요소를 사용할 경우, 임의로 불공정한 결과가 발생할 수 있음을 보여주며, 유사한 개인에 대해 유사한 코hort 맥락을 보장함으로써 다양한 미래 점수 매기기 정책에 대해 공정성을 유지하는 강건한 코hort 선택 메커니즘을 제안한다.

ABSTRACT

It is well understood that a system built from individually fair components may not itself be individually fair. In this work, we investigate individual fairness under pipeline composition. Pipelines differ from ordinary sequential or repeated composition in that individuals may drop out at any stage, and classification in subsequent stages may depend on the remaining "cohort" of individuals. As an example, a company might hire a team for a new project and at a later point promote the highest performer on the team. Unlike other repeated classification settings, where the degree of unfairness degrades gracefully over multiple fair steps, the degree of unfairness in pipelines can be arbitrary, even in a pipeline with just two stages. Guided by a panoply of real-world examples, we provide a rigorous framework for evaluating different types of fairness guarantees for pipelines. We show that naïve auditing is unable to uncover systematic unfairness and that, in order to ensure fairness, some form of dependence must exist between the design of algorithms at different stages in the pipeline. Finally, we provide constructions that permit flexibility at later stages, meaning that there is no need to lock in the entire pipeline at the time that the early stage is constructed.

연구 동기 및 목표

• 파이프라인에서 개별적으로 공정한 구성 요소가 여전히 코hort에 의존하는 의사결정으로 인해 불공정한 결과를 낳을 수 있다는 중요한 공정성의 격차를 해결하기 위해.
• 코호트 필터링과 맥락 민감한 점수 매기기로 인해 표준 순차적 조합과 다를 수 있는 파이프라인 시스템에 대해 공정성 보장을 형식화하기 위해.
• 표준 감사가 파이프라인에서 체계적인 불공정성을 탐지하지 못함을 보여주며, 특히 향후 점수 매기기 정책을 악용하는 코호트 선택이 있을 경우 특히 그렇다.
• 초기 선택 이후에 결정되는 향후 점수 함수의 다양성에 대해 강건한 코호트 선택 메커니즘을 설계하여, 공정성을 유지할 수 있도록 하기 위해.

제안 방법

• 개별 공정성 제약 조건을 포함한 코호트 파이프라인의 형식적 모델을 제안하며, 무조건적 공정성 지표와 조건부 공정성 지표를 구분한다.
• 조건부 강건성(conditional robustness)을 공정성 보장으로 도입하여, 후속 점수 매기기 정책이 무엇이든 간에 최종 결과 분포가 여전히 공정하도록 보장한다.
• 유사한 개인이 허용 가능한 코호트 집합에 대해 유사한 분포에 할당되는 '품질 대칭성'이 있는 코호트 선택 메커니즘을 정의한다.
• 결과 분포에 대한 거리 측정 기반의 리프시츠 연속성(Lipschitz continuity)을 사용하여, 기대 점수 및 질량 이동 거리(MMD) 지표 모두에서 공정성을 형식화한다.
• 조건부 강건성이 리프시츠 상수(α + 1)까지는 무조건적 강건성을 함의함을 증명하여, 공정성 보장을 이전에 전이할 수 있도록 한다.
• 조기 단계의 코호트 설계에 공정성 제약 조건을 통합함으로써, 후속 단계의 점수 매기기에서의 유연성을 허용하는 구성 방법을 제공한다.

실험 결과

연구 질문

• RQ1 파이프라인 내에서 개별적으로 공정한 구성 요소가 여전히 코호트에 의존하는 점수 매기기로 인해 전체적으로 불공정한 결과를 낳을 수 있는가?
• RQ2 표준 감사가 개별 구성 요소가 공정한 경우에도 파이프라인 시스템에서 불공정성을 탐지하지 못하는 이유는 무엇인가?
• RQ3 다양한 후속 점수 매기기 정책에 걸쳐 공정성을 보장하기 위해 필요한 코호트 선택의 구조적 조건은 무엇인가?
• RQ4 미래에 알려지지 않은 점수 함수에 대해 강건하면서도 공정성을 유지할 수 있도록 코호트 선택 메커니즘을 어떻게 설계할 수 있는가?
• RQ5 어떤 수학적 프레임워크(예: MMD, 기대 점수)가 파이프라인 조합에서 공정성을 가장 잘 캡처하는가?

주요 결과

• 파이프라인에서 공정성에 대한 난이도 있는 감사 방식은 체계적인 불공정성을 탐지하지 못한다. 악의적인 파이프라인은 각 단계에서 공정해 보이지만, 전체적으로 편향된 결과를 낳을 수 있다.
• 파이프라인에서의 불공정성 정도는 임의로 커질 수 있다—단지 두 단계로 이루어져도 그렇다. 이는 표준 순차적 조합에서 관찰되는 점진적 열화와는 대조된다.
• 후속 점수 매기기 정책에 대한 강건성은 유사한 개인이 유사한 결과를 얻는 것 이상으로, 유사한 코호트 맥락에 할당되어야 함을 요구한다.
• 조건부 강건성(코호트가 주어진 상황에서의 공정성)은 리프시츠 상수(α + 1)까지는 무조건적 강건성(전반적인 공정성)을 함의하며, 이는 공정성 보장을 이전에 전이할 수 있도록 한다.
• 질량 이동 거리(MMD)는 기대 점수보다 적어도 동일하거나 더 강력한 공정성 측정 지표이며, |E[X1]−E[X2]| ≤3MMD(X1,X2)라는 관계를 통해 더 날카운 경계를 제공한다.
• 논문은 단순한 정책 기술을 사용하여 풍부한 점수 매기기 정책의 가족에 대해 강건한 코호트 선택 메커니즘을 구성하였으며, 이는 후속 결정의 유연성을 해치지 않으면서도 공정성을 유지한다.