[논문 리뷰] Assessing and Addressing Algorithmic Bias - But Before We Get There

Jean Garcia-Gathright, Aaron Springer외 1명|arXiv (Cornell University)|2018. 09. 10.

Ethics and Social Impacts of AISocial Sciences참고 문헌 8인용 수 20

한 줄 요약

이 논문은 산업 팀이 알고리즘적 및 데이터 편향을 식별하고 우선순위를 정하는 데 도움이 되는 실용적이고 체크리스트 기반의 프레임워크를 제안한다. 산재한 학술 문헌을 실천 가능한, 팀 친화적인 프로세스로 번역함으로써, 입력 데이터, 알고리즘 결정, 결과 평가를 통한 조기 편향 탐지에 중점을 두며, 음성 인터페이스 편향과 같은 도메인 특화 과제와 우선순위 정하기, MVP 개발, 기술 부채와 같은 실용적 장벽을 고려한다. 이는 실제 구현에 적합한 체계적이고도 유연한 접근 방식을 제공한다.

ABSTRACT

Algorithmic and data bias are gaining attention as a pressing issue in popular press - and rightly so. However, beyond these calls to action, standard processes and tools for practitioners do not readily exist to assess and address unfair algorithmic and data biases. The literature is relatively scattered and the needed interdisciplinary approach means that very different communities are working on the topic. We here provide a number of challenges encountered in assessing and addressing algorithmic and data bias in practice. We describe an early approach that attempts to translate the literature into processes for (production) teams wanting to assess both intended data and algorithm characteristics and unintended, unfair biases.

연구 동기 및 목표

• 알고리즘 편향에 관한 학술 연구와 산업 팀에서의 실용적 적용 사이의 격차를 해소하기 위해.
• 데이터 및 알고리즘 편향에 관한 산재한 다학제적 문헌을 통합된 실천 가능한 프로세스로 번역하기 위해.
• 데이터, 모델, 결과에서 의도적 및 의도하지 않은 편향을 평가하기 위한 경량이며 팀에 맞춤형으로 조정 가능한 프레임워크를 개발하기 위해.
• 특히 편향이 심화되기 쉬우며 완화가 복잡한 도메인 특화 과제—특히 음성 인터페이스—를 부각하기 위해.
• 경쟁 제품 로드맵, MVP 개발, 편향과 관련된 장기적 기술 부채와 같은 실용적 장벽을 해결하기 위해.

제안 방법

• 기존의 편향 분류 체계(예: Baeza-Yates, Olteanu)를 데이터, 알고리즘, 결과 특성에 대한 체계적이고 체크리스트 기반의 평가 도구로 변형하기 위해.
• 편향을 입력 데이터, 알고리즘 결정, 결과 격차로 분류하고, 각 범주가 영향과 완화 조치에 대해 구체적인 질문을 유도하도록 하기 위해.
• 모든 편향을 동일하게 취급하는 대신, 이해관계자 영향, 보편성, 복합 효과의 잠재력에 따라 편향 대상을 우선순위 정하기를 고려하기 위해.
• 음성 인터페이스 사례 연구를 활용해 도메인 특화 분석을 도입하여, 특히 음성 인식 및 추천 시스템에서 편향이 어떻게 실제 시스템에 나타나는지 설명하기 위해.
• 편향 완화를 위한 최소 기능 제품(MVP) 접근 방식을 제안하여, 반복적 개선이 가능한 초기 배포를 가능하게 하기 위해.
• 개발 라이프사이클의 초기 단계에서 편향 인식을 통합하고 기술 부채를 줄이기 위해 조직 문화 및 변화를 촉진하기 위해.

실험 결과

연구 질문

• RQ1 학술 문헌에서 다루는 알고리즘 및 데이터 편향은 어떻게 산업 현장의 실무자용 팀 수준의 프로세스로 번역될 수 있는가?
• RQ2 실제 기계 학습 시스템에서 편향을 식별하고 우선순위를 정하는 데 있어 주요 과제는 무엇이며, 특히 음성 인터페이스와 같은 도메인에서 어떻게 나타나는가?
• RQ3 편향 완화는 제품 로드맵을 방해하거나 기술 부채를 증가시키지 않으면서 애자일 개발에 어떻게 통합될 수 있는가?
• RQ4 음성 인식 시스템에서 알고리즘 편향과 천연 인구 통계적 변동을 구분하는 데에 지상 진실 데이터는 어느 정도 활용될 수 있는가?
• RQ5 조직 문화와 다양성이 시스템 설계 및 확장 단계에서 사전에 편향을 방지하는 데 어떤 역할을 하는가?

주요 결과

• 체크리스트 기반 프레임워크는 복잡한 학술 분류 체계를 데이터, 알고리즘, 결과 편향 평가를 위한 실천 가능한 단계로 효과적으로 번역한다.
• 편향 우선순위 정하기는 편향의 존재 외에도 이해관계자 영향, 보편성, 복합 효과의 잠재력까지 고려해야 하며, 단순히 편향 존재 여부에 따라 결정해서는 안 된다.
• 음성 인터페이스는 지역 방언과 어조를 인식하는 데 어려움을 겪어 편향을 악화시키며, 이로 인해 오인해석이 발생하기도 한다(예: 'You Da Baddest'가 'You’re the baddest'로 변환됨).
• 사용자 의도와 번역 불일치에서 유도된 지상 진실 데이터는 음성 인식에서 알고리즘 편향과 인구 통계적 변동을 분리하는 데 도움이 된다.
• 경쟁 제품 우선순위와 기술 부채와 같은 실용적 과제는 편향 완화를 저해하며, 이에 대비하기 위해 사업 목표에 부합하는 프레임워크와 조직 문화의 전환 필요하다.
• 조직 교육과 다양한 인재 채용을 통한 편향 인식의 초기 통합은 시스템 설계 단계에서 편향 관련 기술 부채가 축적되는 것을 방지할 수 있다.