[논문 리뷰] Software Fairness: An Analysis and Survey

Ezekiel Soremekun, Mike Papadakis외 2명|arXiv (Cornell University)|2022. 05. 18.

Ethics and Social Impacts of AI인용 수 9

한 줄 요약

이 논문은 기계학습 기반 소프트웨어 시스템에서의 공정성에 관한 164개의 연구를 종합적으로 분석하여, 공정성 측정 기준, 작업 유형, 분석 방법, 접근 수준(블랙박스/화이트박스/ grеу박스)에 따라 접근 방식을 분류한다. 연구에서는 특히 공정성 명시, 상호작용 공정성 및 순차적 공정성, 비정형 데이터(예: 텍스트, 이미지) 및 화이트박스 내처리 기법에서 심각한 격차를 드러내며, 정책 기반 및 인간이 개입하는 공정성 완화 기법에서 연구가 부족한 과제들을 강조한다.

ABSTRACT

In the last decade, researchers have studied fairness as a software property. In particular, how to engineer fair software systems? This includes specifying, designing, and validating fairness properties. However, the landscape of works addressing bias as a software engineering concern is unclear, i.e., techniques and studies that analyze the fairness properties of learning-based software. In this work, we provide a clear view of the state-of-the-art in software fairness analysis. To this end, we collect, categorize and conduct an in-depth analysis of 164 publications investigating the fairness of learning-based software systems. Specifically, we study the evaluated fairness measure, the studied tasks, the type of fairness analysis, the main idea of the proposed approaches, and the access level (e.g., black, white, or grey box). Our findings include the following: (1) Fairness concerns (such as fairness specification and requirements engineering) are under-studied; (2) Fairness measures such as conditional, sequential, and intersectional fairness are under-explored; (3) Unstructured datasets (e.g., audio, image, and text) are barely studied for fairness analysis; and (4) Software fairness analysis techniques hardly employ white-box, in-processing machine learning (ML) analysis methods. In summary, we observed several open challenges including the need to study intersectional/sequential bias, policy-based bias handling, and human-in-the-loop, socio-technical bias mitigation.

연구 동기 및 목표

• 기계학습 기반 시스템에서 소프트웨어 공정성의 현재 경계를 명확히 하기.
• 공정성 명시, 요구사항 엔지니어링, 편향 완화 분야에서 연구가 부족한 영역을 식별하기.
• 기존 문헌에서 공정성 측정 기준, 작업 유형, 분석 기법의 분포를 분석하기.
• 다양한 접근 수준(블랙박스, 화이트박스, 그레이박스)이 공정성 분석에서 얼마나 널리 퍼져 있는지 평가하기.
• 소프트웨어 공정성에서 상호작용, 순차적, 사회기술적 편향 처리에 있어 열려 있는 과제들을 부각하기.

제안 방법

• 기계학습 기반 소프트웨어 시스템에서의 공정성에 관한 164개의 논문을 체계적으로 수집하고 분류하기.
• 공정성 측정 기준(예: 민족적 평등, 동등한 기회), 작업 유형(예: 분류, 자연어 처리), 분석 접근 방식에 따라 연구를 분류하기.
• 접근 수준에 따라 분석 기법을 분류: 블랙박스(입력-출력), 그레이박스(부분적 모델 접근), 화이트박스(모델 전체 검사).
• 사전 처리, 내처리, 후처리 방법을 포함한 제안된 공정성 기법의 핵심 아이디어를 심층적으로 분석하기.
• 수집된 문헌의 주제적 및 정량적 분석을 통해 추세와 격차를 규명하기.
• 순차적 및 상호작용 공정성, 비정형 데이터(오디오, 이미지, 텍스트), 내처리 기계학습 기법 등 연구가 미흡한 영역에 초점 맞추기.

실험 결과

연구 질문

• RQ1 소프트웨어 공정성 연구에서 가장 흔하게 사용되는 공정성 측정 기준은 무엇이며, 어떤 것은 연구가 부족한가?
• RQ2 공정성 분석에서 가장 자주 다뤄지는 소프트웨어 작업(예: 자연어 처리, 컴퓨터 비전)은 무엇이며, 어떤 것은 부족한가?
• RQ3 기계학습 기반 시스템의 공정성 평가에서 화이트박스, 그레이박스, 블랙박스 분석 기법은 얼마나 널리 퍼져 있는가?
• RQ4 기존 소프트웨어 공정성 문헌에서 공정성 명시 및 요구사항 엔지니어링는 어느 정도 다루어지고 있는가?
• RQ5 소프트웨어 공정성에서 상호작용, 순차적, 정책 기반 편향 완화에 있어 핵심적인 열려 있는 과제는 무엇인가?

주요 결과

• 공정성 명시 및 요구사항 엔지니어링와 같은 공정성 문제들은 문헌에서 상당히 연구가 부족한 편이다.
• 실제 공정성 응용에서 중요성이 높은 조건부, 순차적, 상호작용 공정성 측정 기준은 여전히 연구가 부족한 편이다.
• 비정형 데이터 유형(예: 오디오, 이미지, 텍스트)은 기계학습 시스템에서 흔하지만, 공정성 분석에서 거의 다뤄지지 않는다.
• 공정성 분석을 위한 화이트박스 내처리 기계학습 기법은 거의 사용되지 않아, 모델 수준의 간섭 전략에서 격차가 있음을 시사한다.
• 정책 기반 편향 처리 및 사회기술적 공정성 완화를 위한 인간이 개입하는 접근 방식에 대한 연구가 뚜렷하게 부족하다.
• 대부분의 공정성 분석은 블랙박스 방식을 유지하여, 모델 행동과 편향 전파 메커니즘에 대한 깊은 이해가 제한되어 있다.