[논문 리뷰] Algorithm Design: A Fairness-Accuracy Frontier

Annie Liang, Jay Lu외 2명|arXiv (Cornell University)|2021. 12. 18.

Game Theory and Voting Systems인용 수 8

한 줄 요약

이 논문은 사전 정의된 집단 간 알고리즘 의사결정에서 공정성과 정확성 간 최적의 트레이드오프를 특성화하는 공정성-정확성 경계를 제안한다. 입력 데이터의 성질인 그룹 균형(group-balance)이 경계의 형태를 결정하는 핵심 요소임을 밝히며, 입력이 그룹 균형을 이룰 경우 그룹 신원을 배제하는 것은 엄밀히 열등한 전략임을 보여주고, 그룹 신원이 가용할 경우 유informative한 입력을 배제하는 것은 열등한 전략임을 밝힌다.

ABSTRACT

Algorithm designers increasingly optimize not only for accuracy, but also for the fairness of the algorithm across pre-defined groups. We study the tradeoff between fairness and accuracy for any given set of inputs to the algorithm. We propose and characterize a fairness-accuracy frontier, which consists of the optimal points across a broad range of preferences over fairness and accuracy. Our results identify a simple property of the inputs, group-balance, which qualitatively determines the shape of the frontier. We further study an information-design problem where the designer flexibly regulates the inputs (e.g., by coarsening an input or banning its use) but the algorithm is chosen by another agent. Whether it is optimal to ban an input generally depends on the designer's preferences. But when inputs are group-balanced, then excluding group identity is strictly suboptimal for all designers, and when the designer has access to group identity, then it is strictly suboptimal to exclude any informative input.

연구 동기 및 목표

• 사전 정의된 집단 간 알고리즘 의사결정에서 공정성과 정확성 간의 트레이드오프를 체계화하는 것.
• 공정성과 정확성에 대한 광범위한 선호도에 기반해, 공정성-정확성 경계를 최적의 결과 집합으로 특성화하는 것.
• 입력 정보에 대한 제약 조건(예: 입력 금지 또는 정보의 근본적 조정)이 달성 가능한 공정성-정확성 트레이드오프에 어떤 영향을 미치는지 조사하는 것.
• 디자이너가 그룹 신원이나 기타 정보성 입력을 배제할 때 이것이 최적이거나 열등한지 판단하는 조건을 규명하는 것.
• 전략적 입력 조절을 통한 정보 설계가 공정성-정확성 경계를 어떻게 형성하는지 분석하는 것.

제안 방법

• 더 높은 정확성(낮은 그룹 오차)과 더 높은 공정성(작은 오차 차이)을 동시에 만족하는 선호도를 공정성-정확성(FA) 선호도로 정의한다.
• FA 선호도 하에서 파레토 최적의 결과 집합으로서 공정성-정확성 경계를 구성하며, 이는 최적의 트레이드오프를 나타낸다.
• 두 집단의 기본 오차율이 동일한 경우를 의미하는 '그룹 균형' 개념을 도입하여 경계의 정성적 형태를 분류한다.
• 디자이너가 알고리즘 설계자에게 가용한 정보를 제어함으로써 입력 조절을 정보 설계 문제로 모델링한다.
• 입력의 왜곡(garbling)을 통해 정보 제약을 모델링하고, 이러한 제약이 도출되는 공정성-정확성 경계에 어떤 영향을 미치는지 분석한다.
• 게임 이론적 및 정보 이론적 도구를 사용하여 에이전트의 복종 가능성과 원하는 오차 프로파일을 구현할 수 있는지의 가능성을 분석한다.

실험 결과

연구 질문

• RQ1 공정성-정확성 경계의 형태는 입력 데이터의 통계적 성질에 어떻게 의존하는가?
• RQ2 그룹 신원을 배제하는 것이 공정성-정확성 트레이드오프 달성에 있어 엄격히 열등한 조건은 언제인가?
• RQ3 어떤 경우에 정보성 입력을 배제하는 것이 최적이며, 어떤 경우에 열등한가?
• RQ4 정보 설계를 통한 입력 조절이 공정성-정확성 경계의 어떤 점이라도 달성할 수 있는가?
• RQ5 그룹 균형은 입력 배제 또는 포함의 최적성 판단에 어떤 역할을 하는가?

주요 결과

• 입력이 그룹 균형을 이룰 경우, 공정성-정확성 경계는 유일한 점이 되며, 이는 두 집단의 기본 오차율이 동일함을 의미한다.
• 입력이 그룹 균형을 이룰 경우, 모든 디자이너가 그룹 신원을 배제하는 것은 엄격히 열등한 전략이며, 이는 최적의 경계를 달성할 수 없음을 의미한다.
• 그룹 신원이 가용할 경우, 어떤 정보성 입력을 배제하는 것도 엄격히 열등한 전략이며, 이는 전체 공정성-정확성 경계에 접근할 수 없음을 의미한다.
• 입력 $X'$가 두 집단 모두에게 의사결정적으로 관련이 있다면, $(X, X')$ 하에서의 공정성-정확성 경계는 $X$만을 사용할 때보다 엄격히 열악해지며, 이는 일관된 악화를 의미한다.
• 입력이 비대칭일 경우, 입력 설계 하에서의 공정성-정확성 경계는 제약이 없는 경계와 교차하지 않지만, 균형을 이룰 경우 교차할 수 있다.
• 특정 예시에서, 공백 신호 $X$를 사용할 경우 두 집단의 오차가 모두 0.5로 동일해지지만, $X'$를 사용하는 순간 엠티로이드 디자이너의 관점에서 결과는 엄격히 악화되며, 이는 정보 사용이 철저히 조절되지 않으면 해로울 수 있음을 보여준다.