[논문 리뷰] Non-portability of Algorithmic Fairness in India

Nithya Sambasivan, Erin Arnesen외 2명|arXiv (Cornell University)|2020. 12. 03.

Ethics and Social Impacts of AI참고 문헌 21인용 수 14

한 줄 요약

이 논문은 서유럽 중심의 알고리즘 공정성 프레임워크가 인도의 구조적, 문화적, 인프라적 차이로 인해 적용 불가능하다고 주장한다. 36명의 전문가 인터뷰와 정책 분 析를 바탕으로, 데이터와 모델의 재현적 재구성, 소외된 공동체의 권리 부여, 공정한 생태계 조성이라는 접근을 통해 Fair-ML를 재구상한다. 이는 비용 효율적인 공정성 조치를 거부하고 체계적 변화를 주장한다.

ABSTRACT

Conventional algorithmic fairness is Western in its sub-groups, values, and optimizations. In this paper, we ask how portable the assumptions of this largely Western take on algorithmic fairness are to a different geo-cultural context such as India. Based on 36 expert interviews with Indian scholars, and an analysis of emerging algorithmic deployments in India, we identify three clusters of challenges that engulf the large distance between machine learning models and oppressed communities in India. We argue that a mere translation of technical fairness work to Indian subgroups may serve only as a window dressing, and instead, call for a collective re-imagining of Fair-ML, by re-contextualising data and models, empowering oppressed communities, and more importantly, enabling ecosystems.

연구 동기 및 목표

• 서유럽 중심의 알고리즘 공정성 모델이 인도의 복잡한 사회기술적 맥락에 적용될 때 겪는 한계를 조사하기 위해.
• 인도의 소외된 공동체가 기계 학습 시스템으로부터 실질적인 혜택을 받을 수 없도록 막는 체계적 장애요인을 규명하기 위해.
• 비서유럽적 환경에서 공정성이 기술적 모델 조정만으로 달성될 수 있다는 가정을 도전하기 위해.
• 서유럽의 공정성 패러다임을 수입하는 대신 현지 기관, 가치관, 권력 구조를 중심에 두고 재구상된 Fair-ML를 주장하기 위해.

제안 방법

• 컴퓨터 과학, 법학, 사회학, 저널리즘 등 다양한 분야의 인도 학자, 활동가, 전문가 36명을 대상으로 심층적인 질적 인터뷰를 실시하였다.
• 2009년 이후 인도의 정책 문서, 뉴스 기사, 현장에서의 AI 구현 논의를 분석하여 알고리즘 거버넌스와 배제의 패턴을 식별하였다.
• 반복적인 코드북을 활용한 주제 분석을 통해 세 가지 핵심 도전 과제 군집을 특정하였다: 잘못된 데이터 및 모델 가정, ML 제작자들의 기관적 거리감, 약한 기관적 지원 구조.
• 재현적 재구성, 권리 부여, 기반 마련의 세 가지 길을 적용하여 공정성을 공동체적이고 사회기술적인 책임으로 재정의하였다.
• 참가자를 보호하기 위해 철저한 연구 윤리 절차(동의 확보, 익명화, 데이터 암호화)를 시행하였다.
• 인도의 사회 계급 구조(예: 캐스트, 성별, 종교)에 관한 보조 데이터를 통합하여 ML 시스템 내에서의 대체 지표와 피해를 매핑하였다.

실험 결과

연구 질문

• RQ1 인도의 인프라, 문화, 제도적 차이가 서유럽 중심의 알고리즘 공정성 프레임워크의 이식 가능성에 어떻게 악영향을 미치는가?
• RQ2 인도의 소외된 공동체가 공정한 기계 학습 시스템에 접근하거나 그 혜택을 받는 것을 막는 주요 체계적 및 구조적 장애요인은 무엇인가?
• RQ3 인도에서의 데이터 수집 방식과 모델 가정이 캐스트, 성별, 계급의 선별적 불평등을 어떻게 반영하고 강화하는가?
• RQ4 공동체 권리 부여와 기관 재설계를 통해 비서유럽적 맥락인 인도에서 기계 학습의 공정성을 어떻게 재구상할 수 있는가?

주요 결과

• 서유럽 중심의 공정성 지표인 피츠패트릭 척도는 피부 톤 다양성의 부족으로 인해 인도에서는 실패한다. 특히 다리트, 아디바시 및 기타 소외된 집단에 심각한 영향을 미친다.
• 여성들 사이에서 널리 퍼진 SIM 카드 공유 관행으로 인해 기계 학습 훈련에서 개인 수준의 데이터 정확성에 대한 가정이 무너지며, 데이터 왜곡이 발생한다.
• 얼굴 인식의 성능 격차는 인도에서 캐스트와 종교와 강하게 관련된 성격, 거주지, 언어 등의 대체 지표로 악화된다.
• 기술적 공정성 평가에서 정식으로 보장된 할당 제도(예: 할당 할당)가 없어 법적 공정성과 알고리즘 공정성 간의 괴리가 발생한다.
• ML 개발자들이 인도 사용자를 수동적인 데이터 원천으로 간주하는 기업 중심의 사고방식은 소외된 공동체에게는 최소한의 구제 수단이나 회복 기회를 제공하지 않는다.
• 기본적인 제도적 인프라—예를 들어 접근 가능한 법원 시스템, 언론의 감시, 시민 사회의 감시—는 종종 알고리즘 피해에 대한 책임을 묻는 데 있어 부재하거나 기능하지 못한다.