[논문 리뷰] D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias

Bhavya Ghai, Klaus Mueller|arXiv (Cornell University)|2022. 08. 10.

Ethics and Social Impacts of AI인용 수 9

한 줄 요약

D-BIAS는 표본 데이터셋에서 알고리즘 편향을 탐지하고 완화하기 위해 인공지능 기반 원인 모델을 사용하는 인간-중심 시각화 분석 시스템이다. 사용자가 원인 관계를 상호작용적으로 수정하고 최소한의 왜곡으로 편향 제거된 데이터셋을 시뮬레이션할 수 있도록 함으로써, 자동화된 방법에 비해 공정성 격차를 크게 줄이고 신뢰성, 해석 가능성, 책임감을 향상시킨다.

ABSTRACT

With the rise of AI, algorithms have become better at learning underlying patterns from the training data including ingrained social biases based on gender, race, etc. Deployment of such algorithms to domains such as hiring, healthcare, law enforcement, etc. has raised serious concerns about fairness, accountability, trust and interpretability in machine learning algorithms. To alleviate this problem, we propose D-BIAS, a visual interactive tool that embodies human-in-the-loop AI approach for auditing and mitigating social biases from tabular datasets. It uses a graphical causal model to represent causal relationships among different features in the dataset and as a medium to inject domain knowledge. A user can detect the presence of bias against a group, say females, or a subgroup, say black females, by identifying unfair causal relationships in the causal network and using an array of fairness metrics. Thereafter, the user can mitigate bias by acting on the unfair causal edges. For each interaction, say weakening/deleting a biased causal edge, the system uses a novel method to simulate a new (debiased) dataset based on the current causal model. Users can visually assess the impact of their interactions on different fairness metrics, utility metrics, data distortion, and the underlying data distribution. Once satisfied, they can download the debiased dataset and use it for any downstream application for fairer predictions. We evaluate D-BIAS by conducting experiments on 3 datasets and also a formal user study. We found that D-BIAS helps reduce bias significantly compared to the baseline debiasing approach across different fairness metrics while incurring little data distortion and a small loss in utility. Moreover, our human-in-the-loop based approach significantly outperforms an automated approach on trust, interpretability and accountability.

연구 동기 및 목표

• 투명성, 해석 가능성, 사용자 제어가 부족한 완전 자동화된 편향 완화 방법의 한계를 해결하기 위해.
• 도메인 전문가가 상호작용적인 원인 모델 개선을 통해 맥락 기반의 공정성 지식을 통합할 수 있도록 하기 위해.
• 데이터 유용성과 왜곡을 최소화하면서도 표본 데이터셋의 알고리즘 편향을 줄이기 위해.
• 편향 완화 과정에 대한 시각적이고 상호작용 가능한 제어를 통해 신뢰성, 책임감, 해석 가능성을 향상시키기 위해.
• 실제 데이터셋에서 인간-중심 원인 모델링의 공정성에 대한 효과를 입증하기 위해.

제안 방법

• 시스템은 원인 발견 알고리즘(예: PC 알고리즘)을 사용하여 표본 데이터에서 그래픽 원인 모델을 구성하여 특성 간의 원인 관계를 표현한다.
• 사용자는 공정성에 어긋나거나 편향된 것으로 판단하는 간선을 약화하거나 삭제함으로써 원인 네트워크를 상호작용적으로 편집할 수 있다.
• 각 사용자 상호작용은 업데이트된 원인 모델에 부합하는 새로운 편향 제거된 데이터셋을 생성하는 새로운 시뮬레이션 기반 데이터 생성 과정을 유도한다.
• 시스템은 각 변경 사항이 공정성 지표(예: 인구 통계적 평등, 동등한 기회), 유용성, 데이터 분포 왜곡에 미치는 영향을 시각화한다.
• 시각적 인터페이스는 원인 네트워크 탐색, 공정성 평가, 데이터셋 생성을 통합된 워크플로우로 통합한다.
• 구조적 방정식 모델(SEM)을 활용하여 원본 데이터셋에서 최소한의 이탈을 보장하면서 데이터를 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 원인 모델 기반 인간-중심 시스템이 표본 데이터셋의 사회적 편향을 효과적으로 탐지하고 완화할 수 있는가?
• RQ2 사용자가 원인 관계에 상호작용할 경우 공정성 지표, 데이터 유용성, 분포 충실도에 어떤 영향을 미치는가?
• RQ3 D-BIAS 시스템이 자동화된 편향 완화 방법에 비해 공정성, 신뢰성, 해석 가능성 측면에서 얼마나 뛰어난가?
• RQ4 사용자들이 공정성 인식 데이터 정제 과정에서 시스템이 제공하는 투명성과 제어감에 대해 어떻게 평가하는가?
• RQ5 실제 고차원 데이터셋에 원인 모델링을 적용할 때의 확장성과 사용성 도전 과제는 무엇인가?

주요 결과

• D-BIAS는 기준 자동화된 편향 완화 기법에 비해 다양한 공정성 지표(예: 인구 통계적 평등, 동등한 기회)에서 편향을 크게 줄였다.
• 시스템은 최소한의 데이터 왜곡과 모델 유용성의 약간의 손실만을 보이며, 공정성과 성능 사이의 효과적인 트레이드오프를 입증했다.
• 공식 사용자 연구를 통해 D-BIAS를 사용할 경우, 사용자들이 자동화된 도구에 비해 더 높은 수준의 신뢰성, 해석 가능성, 책임감을 경험했다.
• 사용자가 불공정한 원인 간선을 제거하거나 약화시킴으로써 Adult Income 데이터셋에서 성별과 결혼 상태 간의 대체 편향을 성공적으로 완화했다.
• 사용자 연구 참가자들은 시각적 인터페이스가 직관적이라고 평가했으며, 공정성 지표에 대한 툴팁 및 직접적인 CSV 미리보기 기능 개선을 제안했다.
• 샘플링 편향에 대한 시스템의 강건성을 입증했으며, 예를 들어 COMPAS 데이터셋에서 나이와 인종 간의 잘못된 간선(허구적 간선)이 사용자 개입을 통해 수정될 수 있었다.