[논문 리뷰] Human-Algorithm Collaboration: Achieving Complementarity and Avoiding Unfairness

Kate Donahue, Alexandra Chouldechova외 1명|arXiv (Cornell University)|2022. 02. 17.

Ethics and Social Impacts of AI인용 수 5

한 줄 요약

이 논문은 인간-알고리즘 협업을 모델링하기 위한 이론적 프레임워크를 제안하며, 인간이나 알고리즘이 개별적으로 작동할 때보다 낮은 손실을 기록하는 조건에서 통합 시스템이 상호보완성을 달성할 수 있음을 보여준다. 상호보완성이 불가능한 조건을 증명하고, 공정성의 상충관계를 규명하며, 특정 균형 조건을 충족하지 않으면 보호 그룹에 대해 손실 격차가 증가할 수 있음을 보여준다.

ABSTRACT

Much of machine learning research focuses on predictive accuracy: given a task, create a machine learning model (or algorithm) that maximizes accuracy. In many settings, however, the final prediction or decision of a system is under the control of a human, who uses an algorithm's output along with their own personal expertise in order to produce a combined prediction. One ultimate goal of such collaborative systems is "complementarity": that is, to produce lower loss (equivalently, greater payoff or utility) than either the human or algorithm alone. However, experimental results have shown that even in carefully-designed systems, complementary performance can be elusive. Our work provides three key contributions. First, we provide a theoretical framework for modeling simple human-algorithm systems and demonstrate that multiple prior analyses can be expressed within it. Next, we use this model to prove conditions where complementarity is impossible, and give constructive examples of where complementarity is achievable. Finally, we discuss the implications of our findings, especially with respect to the fairness of a classifier. In sum, these results deepen our understanding of key factors influencing the combined performance of human-algorithm systems, giving insight into how algorithmic tools can best be designed for collaborative environments.

연구 동기 및 목표

• 인간-알고리즘 협업을 분석할 수 있는 이론적 프레임워크를 체계화하고 분석한다.
• 통합 시스템이 인간이나 알고리즘이 개별적으로 작동할 때보다 낮은 기대 손실을 기록할 수 있는 조건을 규명한다.
• 상호보완성의 공정성 영향을 분석하며, 특히 보호 그룹 간 손실 격차 측면에서 고려한다.
• 알고리즘 설계를 안내하기 위해 협업이 공정성을 악화시키지 않으면서 성능을 향상시킬 수 있는 조건을 규명한다.

제안 방법

• 입력 서브집단의 손실 비율이 다를 수 있는 두 제도 모델을 제안하여 인간과 알고리즘의 성능를 표현한다.
• 손실 격차 지표를 사용하여 공정성을 정량화하고, 독립된 인간, 알고리즘, 통합 시스템의 성능를 비교한다.
• 극단적인 제도에서 상대적 성능 우월성에 기반해 상호보완성이 발생할 수 없는 조건을 증명하는 불가능성 정리들을 유도한다.
• 레마 5를 도입하여, 인간이나 알고리즘이 둘 다 극단적 제도에서 우월하지 않으면서도 통합 시스템의 공정성이 독립된 구성 요소보다 악화되지 않는 충분조건을 제공한다.
• 손실 격차(ε)를 독립된 시스템과 통합 시스템 간 비교함으로써 공정성 상충관계를 분석한다.
• 의료 진단과 같은 실제 사례에 프레임워크를 적용하여 이론적 결과를 구체적인 예시로 설명한다.

(a) Scenario 1: Combined system has higher loss than either unaided human or algorithm.

실험 결과

연구 질문

• RQ1 인간-알고리즘 시스템이 상호보완성을 달성할 수 있는 조건은 무엇인가? 여기서 상호보완성은 개별 구성 요소보다 낮은 기대 손실을 기록하는 것으로 정의된다.
• RQ2 상호보완성이 이론적으로 불가능한 조건는 언제이며, 손실 분포의 어떤 구조적 특성이 이를 방지하는가?
• RQ3 통합 시스템의 손실 격차는 독립된 인간 또는 알고리즘과 비교해 어떻게 다를까?
• RQ4 보호 그룹에 대한 불공정성을 악화시키지 않고 상호보완성을 달성할 수 있는가?
• RQ5 협업이 성능을 향상시키되 공정성을 악화시키지 않도록 보장할 수 있는 설계 원칙은 무엇인가?

주요 결과

• 인간이나 알고리즘이 높은 손실 제도와 낮은 손실 제도 양쪽에서 상대적으로 우월할 경우, 상호보완성은 불가능하다.
• 입력 서브집단 간 손실 비율의 변동성이 클수록, 특히 제도 간 성능 격차가 클 경우 상호보완성이 더 달성 가능해진다.
• 통합 시스템의 손실 격차는 독립된 구성 요소 둘 다의 격차를 초과할 수 있다. 표 7에서 εc = 0.84 > max(εh=0.8, εa=0.83)로 나타나 있다.
• 레마 5는 인간이나 알고리즘이 둘 다 극단적 제도에서 우월하지 않으면서도 통합 시스템의 손실 격차가 두 독립된 시스템의 격차 중 최댓값으로 제한됨을 보여준다.
• 이 프레임워크는 공정성과 상호보완성이 상충될 수 있음을 드러내며, 전체 손실을 낮추는 것이 특정 보호 그룹에 대해 격차를 증대시킬 수 있음을 보여준다.
• 실무자들은 레마 5의 조건을 활용해, 상호보완성을 달성하더라도 공정성을 악화시키지 않는 알고리즘 설계를 할 수 있다.

(b) Scenario 2: Combined system has lower loss than unaided human, but higher loss than algorithm.