[논문 리뷰] What If I Don't Like Any Of The Choices? The Limits of Preference Elicitation for Participatory Algorithm Design

Samantha Robertson, Niloufar Salehi|arXiv (Cornell University)|2020. 07. 13.

Ethics and Social Impacts of AI참고 문헌 21인용 수 9

한 줄 요약

이 논문은 학생 배정 시스템에서 선호도 기반의 참가자 중심 알고리즘 설계를 비판하며, 특히 소외된 가정으로부터의 순위 매긴 선호도에 의존할 경우 기존의 불평등을 강화하고 민주적 참여를 제한한다는 점을 주장한다. 샌프란시스코 교육위원회(SFUSD)의 알고리즘을 사례로 삼아, 선호도 집계가 분배 정의를 달성하지 못함을 보이며, 단순 순위 매기기 이상의 표현력 있고 맥락 인식 능력이 있으며 논의 기반의 이해관계자 참여 방식이 필요하다고 주장한다.

ABSTRACT

Emerging methods for participatory algorithm design have proposed collecting and aggregating individual stakeholder preferences to create algorithmic systems that account for those stakeholders' values. Using algorithmic student assignment as a case study, we argue that optimizing for individual preference satisfaction in the distribution of limited resources may actually inhibit progress towards social and distributive justice. Individual preferences can be a useful signal but should be expanded to support more expressive and inclusive forms of democratic participation.

연구 동기 및 목표

• 학교 배정과 같은 고위험 시스템에서 개인의 선호도만으로 공정한 알고리즘 설계가 가능하다는 가정을 도전한다.
• SFUSD의 학생 배정 알고리즘과 같은 시스템에서 선호도 집계가 인종적 분리와 소외를 어떻게 계속 강화하는지 폭 드러낸다.
• 순위 매기기 방식은 제한적이고 불균형하며 편향된 참여 방식이며, 소외된 목소리를 배제한다는 점을 주장한다.
• 선호도 순위 매기기 이외의 참여 방식을 확장하여 토론, 시스템 매개변수 입력, 표현적 가치 반영을 포함한 참가자 중심 알고리즘 설계를 제안한다.
• 포괄적이고 맥락 인식 능력이 있으며 권력에 민감한 참여를 지원하는 민주적 거버넌스 모델을 주장한다.

제안 방법

• 선호도 기반 매칭 시스템의 사례로 SFUSD 학생 배정 알고리즘을 분석한다.
• 학생 선호도를 최적화하는 데 사용되는 연기된 수락(Deferred Acceptance) 및 최고 거래 순환(Top-Trading Cycles) 알고리즘을 검토한다.
• 복잡한 가치, 필요 사항, 구조적 불평등을 반영하지 못하는 순위 매기기 선호도 목록의 한계를 평가한다.
• 대안적 참여 메커니즘 제안: 학교 요소에 대한 가중치 우선순위 부여, 시스템 매개변수에 대한 입력, 공동체 토론.
• 참여를 단순히 옵션 순위 매기기 초과하여, 허시르만의 이탈-충성-목소리(Exit-Loyalty-Voice) 프레임워크를 활용해 참가자 참여를 재정의한다.
• 정책을 뒷받침하는 데 기여한 기술적 도구(예: 시뮬레이션)의 역할을 강조하지만, 대부분의 가정과 지역사회가 이러한 도구에 접근할 수 없음을 지적한다.

실험 결과

연구 질문

• RQ1 SFUSD의 학생 배정 과정과 같은 선호도 기반 알고리즘 설계는 어떻게 기존 사회적 불평등을 재생산하는가?
• RQ2 순위 매기기 선호도 목록은 자원 할당 과정에서 이해관계자의 가치, 필요 사항, 목표를 얼마나 정확히 반영하는가?
• RQ3 왜 선호도 집계만으로는 알고리즘 거버넌스에서 분배 정의를 달성하는 데 부족한가?
• RQ4 어떤 대안적 참여 방식이 더 나은 민주적, 포용적, 공정한 알고리즘 설계를 지원할 수 있는가?
• RQ5 기술적 도구와 공적 토론을 어떻게 활용하여 단순 순위 매기기 이상의 의미 있는 이해관계자 참여를 확대할 수 있는가?

주요 결과

• SFUSD 학생 배정 알고리즘은 학생 선호도를 최적화하도록 설계되었음에도 불구하고, 분리 현상을 악화시키고 공정한 결과를 도출하지 못했다.
• 순위 매기기 선호도 목록은 자원이 적은 가정이 학교를 연구하는 데 필요한 자원이 부족해지는 데 악영향을 미치는 굵직하고 불균형한 메커니즘이다.
• 개별 선호도가 반영하는 것은 집단의 복지나 정의가 아니며, 일반적으로 체계적 편향을 반영하고 재생산한다.
• 가정들이 '의견을 제기할 수' 있도록 허용함으로써 민주주의의 외형을 만들어 냈지만, 구조적 불평등에 도전할 수 있는 능력은 제한되어 있었다.
• 기술적 시뮬레이션(예: Kasman, 2014)은 정책 결정에 결정적인 기여를 했지만, 이러한 도구는 대부분의 가정에게는 접근 불가능하다.
• 학교 요소에 대한 가중치 우선순위 부여나 공동체 토론과 같은 더 표현력 있는 참여 방식이 포용적인 알고리즘 거버넌스에 필수적이다.