[논문 리뷰] Group Fairness: Independence Revisited

Tim Räz|arXiv (Cornell University)|2021. 01. 08.

Ethics and Social Impacts of AI참고 문헌 13인용 수 10

한 줄 요약

이 논문은 알고리즘 결정에서 그룹 형평성의 척도로 독립성(통계적 평등)을 재평가하며, 최근의 비판에 대응하여 그것에 반대하는 주장들이 독립성에만 국한되지 않고 다른 형평성 척도인 분리성과 충족성에도 동일하게 적용됨을 보여준다. 또한 독립성이 다른 기준들이 다루지 않는 특별한 형태의 형평성을 반영한다는 점을 입증하고, 다른 척도들과 함께 형평성 평가에 포함시킬 것을 주장한다.

ABSTRACT

This paper critically examines arguments against independence, a measure of group fairness also known as statistical parity and as demographic parity. In recent discussions of fairness in computer science, some have maintained that independence is not a suitable measure of group fairness. This position is at least partially based on two influential papers (Dwork et al., 2012, Hardt et al., 2016) that provide arguments against independence. We revisit these arguments, and we find that the case against independence is rather weak. We also give arguments in favor of independence, showing that it plays a distinctive role in considerations of fairness. Finally, we discuss how to balance different fairness considerations.

연구 동기 및 목표

• 기계학습에서 형평성 척도로서 독립성(통계적 평등)에 대한 반론의 타당성을 비판적으로 재평가하는 것.
• 독립성이 형평성 평가에서 분리성 또는 충족성보다 본질적으로 결함이 있거나 덜 타당하다는 주장을 도전하는 것.
• 독립성이 다른 형평성 척도들이 포괄하지 못하는 특별한 종류의 부정확성을 드러낸다는 것을 입증하는 것.
• 특히 충족성과 분리성이 정확도 향상 시에도 유지되지 않는다는 점을 보여주며, 이는 독립성에 대한 주요 반론을 약화시킨다.
• 독립성을 다른 형평성 기준들과 함께 포함하는 균형 잡힌, 맥락에 민감한 형평성 접근 방식을 주장하는 것.

제안 방법

• Dwork 등(2012)과 Hardt 등(2016)의 독립성에 대한 기초적 반론을 재분석하여, 이들이 독립성에만 국한되지 않음을 보여준다.
• 예측 정확도 향상 시 형평성 척도가 유지되는지 평가하기 위해 '점진적 보수성' 개념을 도입한다.
• 혼동 행렬을 사용한 반례를 구성하여, 정확도 향상이 분리성과 충족성 모두를 위반할 수 있음을 보여주며, 이들이 점진적으로 보수적이지 않음을 입증한다.
• 이원 분류 설정에서 형평성 척도를 정의하고 비교하기 위해 조건부 독립 형식(예: R ⊥ A, Y ⊥ A|R, R ⊥ A|Y)을 사용한다.
• 실제 사례인 대학 입학 및 범죄 위험 평가에 프레임워크를 적용하여 맥락에 따라 달라지는 형평성의 상충관계를 설명한다.
• 확률적 추론과 증명 기법을 활용하여, 그룹 기저율이 다를 경우에도 독립성이 높은 정확도와 논리적으로 충돌하지 않음을 입증한다.

실험 결과

연구 질문

• RQ1 형평성 척도에 대한 독립성에 대한 반론은 독립성에만 국한되는가, 아니면 분리성과 충족성과 같은 다른 형평성 척도에도 동일하게 적용되는가?
• RQ2 독립성이 '보수적'(정확도 향상 시 유지됨)이 아니라는 주장은 타당한가? 그리고 충족성과 분리성과 비교해 볼 때 어떻게 평가되는가?
• RQ3 독립성이 분리성 또는 충족성에서 다루지 않는 특별한 종류의 형평성을 반영하는가?
• RQ4 실제로 여러 형평성 기준—특히 독립성, 분리성, 충족성—을 어떻게 균형 있게 조율해야 하는가?
• RQ5 오류의 비용 등 맥락 기반 고려사항이 형평성 척도 선택에 어떤 역할을 해야 하는가?

주요 결과

• Dwork 등(2012)과 Hardt 등(2016)의 독립성에 대한 반론은 독립성에만 국한되지 않으며, 분리성과 충족성과 같은 다른 형평성 척도에도 동일하게 적용된다.
• 충족성과 분리성은 점진적으로 보수적이지 않다: 예측 정확도를 높여도 둘 다 위반될 수 있으며, 원래 예측기가 그 조건을 만족했더라도 그렇다.
• 독립성은 분리성이나 충족성에 의해 포괄되지 않는 특별한 형평성 차원—즉, 그룹 기반 예측 균형—을 반영한다. 특히 그룹 기저율이 다를 경우 더욱 그렇다.
• 진짜 레이블이 그룹 소속과 독립이 아닐 경우에도 독립성은 높은 정확도와 호환됨을 보여주며, 이는 그것이 본질적으로 정확도와 충돌한다는 주장과는 반대된다.
• 논문은 반례를 통해 정확도를 높이기 위해 거짓 음성(이면)을 참 양성(이면)으로 이동시키는 비례적이지 않은 방식이 분리성과 충족성을 모두 위반할 수 있음을 입증한다. 이는 성능 향상에도 불구하고 발생한다.
• 연구는 독립성이 다른 척도들이 충돌하거나 그룹 수준의 불균형을 포괄하지 못할 경우 특히 합리적이고 필수적인 형평성 평가 요소여야 한다고 결론 내린다.