[논문 리뷰] Fairness Testing: A Comprehensive Survey and Analysis of Trends

Zhenpeng Chen, Jie M. Zhang외 3명|arXiv (Cornell University)|2022. 07. 20.

Ethics and Social Impacts of AI인용 수 29

한 줄 요약

본 논문은 ML 소프트웨어에서의 100건의 공정성 테스트 연구를 조사하고, 이를 테스트 워크플로우와 구성요소별로 정리하며, 경향, 데이터셋, 도구를 분석하고 연구 기회를 제시한다.

ABSTRACT

Unfair behaviors of Machine Learning (ML) software have garnered increasing attention and concern among software engineers. To tackle this issue, extensive research has been dedicated to conducting fairness testing of ML software, and this paper offers a comprehensive survey of existing studies in this field. We collect 100 papers and organize them based on the testing workflow (i.e., how to test) and testing components (i.e., what to test). Furthermore, we analyze the research focus, trends, and promising directions in the realm of fairness testing. We also identify widely-adopted datasets and open-source tools for fairness testing.

연구 동기 및 목표

• 소프트웨어 공학 관점에서 ML 소프트웨어 내의 공정성 테스트 및 공정성 버그를 정의한다.
• 테스트 워크플로우(어떻게 테스트하는지)와 테스트 구성요소(무엇을 테스트하는지)로 공정성 테스트 연구를 분류한다.
• 공개적으로 이용 가능한 데이터셋과 공정성 테스트에 사용되는 오픈 소스 도구를 요약한다.
• 공정성 테스트의 경향을 분석하고 유망한 방향과 개방형 연구 기회들을 식별한다.

제안 방법

• 반복적인 키워드 검색과 스노볼링(역방향 및 순방향)을 사용하여 DBLP에서 100건의 공정성 테스트 논문을 수집했다.
• 저자 피드백을 통해 수집 범위를 확장하여 100편의 논문에 도달했다.
• 워크플로우와 구성요소를 중심으로 연구 결과를 추출하고 정리하기 위해 주제적 합성을 적용했다.
• ML 소프트웨어의 공정성 버그와 공정성 테스트를 SE 용어로 정의했다.
• 공정성 테스트에 사용되는 데이터셋과 오픈 소스 도구에 대한 개요를 제공했다.

실험 결과

연구 질문

• RQ1 ML 소프트웨어의 공정성 테스트에서 지배적으로 사용되는 공정성의 정의는 무엇인가?
• RQ2 실무에서 공정성 테스트는 어떻게 수행되며(테스트 워크플로우), 어떤 구성요소를 테스트하는가?
• RQ3 공정성 테스트에 일반적으로 사용되는 데이터셋과 도구는 무엇인가?
• RQ4 공정성 테스트 연구에서 어떤 경향이 나타나며, 식별된 기회와 도전과제는 무엇인가?

주요 결과

• 본 조사는 100편의 논문을 다루고 이를 ML 소프트웨어의 공정성 테스트에 대한 일관된 관점으로 합성한다.
• 공정성 테스트 문헌은 테스트 워크플로우(어떻게 테스트하는지)와 테스트 구성요소(어디에서/무엇을 테스트하는지)를 중심으로 정리된다.
• 2019년 이후에 등장한 공정성 테스트 연구 발표가 89%에 이르는 등 연구 활동이 증가하고 있다.
• 이 논문은 공정성 테스트에 사용되는 공개 데이터셋과 오픈 소스 도구에 대한 개요를 제공한다.
• 체계적 분석은 공정성 테스트의 연구 경향과 미래 연구를 위한 유망한 방향을 식별한다.