[논문 리뷰] Revealing Neural Network Bias to Non-Experts Through Interactive Counterfactual Examples

Chelsea M. Myers, Evan Freed외 4명|arXiv (Cornell University)|2020. 01. 07.

Explainable Artificial Intelligence (XAI)참고 문헌 32인용 수 8

한 줄 요약

이 논문은 비전문가가 반사적 예시와 군집화된 활성화 추상화를 사용하여 신경망 내 편향을 탐지하는 데 도움이 되는 상호작용형 시각화 도구 CEB를 소개한다. 전문가들은 도구가 직관적이고 편향 탐지에 효과적이라고 평가했으며, 특히 경로 점수와 시각적 군집화를 통해 편향을 드러내는 데 유용했지만, 군집 형성 방식과 특성 제어에 대한 명확성이 향상되어야 한다.

ABSTRACT

AI algorithms are not immune to biases. Traditionally, non-experts have little control in uncovering potential social bias (e.g., gender bias) in the algorithms that may impact their lives. We present a preliminary design for an interactive visualization tool CEB to reveal biases in a commonly used AI method, Neural Networks (NN). CEB combines counterfactual examples and abstraction of an NN decision process to empower non-experts to detect bias. This paper presents the design of CEB and initial findings of an expert panel (n=6) with AI, HCI, and Social science experts.

연구 동기 및 목표

• 비전문가가 기술적 전문 지식 없이 신경망 내 편향을 탐지할 수 있도록 지원하기 위해.
• 알고리즘 편향을 비AI 전문가가 시각적으로 인지하고 이해할 수 있도록 하는 도구의 부족을 보완하기 위해.
• 반사적 예시와 활성화 기반 추상화가 사용자 友好的한 방식으로 편향을 효과적으로 드러내는지 탐색하기 위해.
• 전문가 피드백을 통해 상호작용형 도구의 설계를 평가하고 반복적인 개선을 위해 활용하기 위해.

제안 방법

• 도구인 CEB는 대출 신청 데이터로 훈련된 신경망의 은닉층 활성화를 시각화한다.
• 활성화는 데이터 과부하를 줄이고 비전문가의 이해를 향상시키기 위해 군집화되어 추상화된다.
• 특성 하나(예: 성별)를 뒤집음으로써 반사적 예시를 생성하여 결정 방식의 변화를 보여준다.
• 경로 점수를 계산하여 반사적 예시 적용 시 예측 점수의 변화를 정량화하고, 잠재적 편향을 강조한다.
• 자연어 기반 설명은 평균 특성 값 기반으로 군집 특성을 요약하여 사용자 이해를 돕는다.
• 인터페이스는 경로 탐색을 위한 단일 뷰와 원본 및 반사적 예시 군집을 대조하는 데 사용되는 비교 뷰를 제공한다.

실험 결과

연구 질문

• RQ1 비전문가가 상호작용형 반사적 예시와 활성화 추상화를 통해 신경망 내 편향을 탐지할 수 있는가?
• RQ2 데이터를 군집화하는 방식이 비전문가가 모델 행동을 이해하는 데 얼마나 효과적인가?
• RQ3 경로 점수와 시각적 단서가 사용자가 모델 예측의 잠재적 편향을 식별하고 평가하는 데 도움이 되는가?
• RQ4 전문가들은 CEB의 설계가 비전문가 사용을 위해 사용성과 명확성 측면에서 어떻게 평가하는가?
• RQ5 군집 형성과 특성 영향력에 대한 이해를 향상시키기 위해 어떤 설계 개선이 필요한가?

주요 결과

• 전문가들은 CEB가 직관적이고 흥미로웠으며, 가이드된 데이터 탐색과 유사한 사용자 경험을 제공했다.
• 반사적 예시가 편향을 효과적으로 드러내었으며, 특히 예측 점수 변화를 정량화하는 경로 점수와 함께 사용했을 때 효과적이었다.
• 경로 점수는 편향을 식별하는 데 핵심적이었으며, 예를 들어 성별을 뒤집었을 때 남성 지원자에게 더 높은 승인 점수가 부여된 경우와 같이 편향을 명확히 드러내었다.
• 전문가들은 군집 형성 방식에 혼란을 느꼈으며, 특히 군집화가 특성 기반인지 활성화 기반인지에 대해 명확하지 않아 개선이 필요하다고 지적했다.
• 군집의 자연어 기반 설명은 사용자가 군집을 비교하는 데 도움이 되었지만, 군집화 기반에 대한 혼동을 유발하기도 했다.
• 전문가들은 어떤 특성이 뒤집혀지는지 제어할 수 있도록 기능을 추가하고, 편향이 데이터에 기인하는지 모델 아키텍처에 기인하는지 명확히 해야 한다고 권고했다.