[논문 리뷰] Explaining Models: An Empirical Study of How Explanations Impact Fairness Judgment

Jonathan Dodge, Q. Vera Liao외 3명|arXiv (Cornell University)|2019. 01. 23.

Explainable Artificial Intelligence (XAI)참고 문헌 35인용 수 23

한 줄 요약

이 경험적 연구는 다양한 설명 스타일이 기계 학습 시스템에 대한 인간의 공정성 판단에 어떻게 영향을 미치는지 조사한다. 실제 데이터셋을 바탕으로 프로그래밍적으로 생성된 네 가지 설명 유형—사례 기반, 인구통계 기반, 영향 기반, 민감도 기반—을 사용하여, 저자들은 설명 스타일이 인식된 공정성에 상당한 영향을 미친다는 것을 발견했다. 과정 중심의 설명(예: 영향/민감도)은 신뢰를 증가시키지만, 데이터 중심의 설명(예: 사례/인구통계)은 인식된 공정성을 감소시킬 수 있다. 사전 공정성 입장에 대한 개인의 차이 또한 반응을 형성하며, 공정한 ML 구현을 지원하기 위해 개인화되고 적응형인 설명이 필요하다는 점을 시사한다.

ABSTRACT

Ensuring fairness of machine learning systems is a human-in-the-loop process. It relies on developers, users, and the general public to identify fairness problems and make improvements. To facilitate the process we need effective, unbiased, and user-friendly explanations that people can confidently rely on. Towards that end, we conducted an empirical study with four types of programmatically generated explanations to understand how they impact people's fairness judgments of ML systems. With an experiment involving more than 160 Mechanical Turk workers, we show that: 1) Certain explanations are considered inherently less fair, while others can enhance people's confidence in the fairness of the algorithm; 2) Different fairness problems--such as model-wide fairness issues versus case-specific fairness discrepancies--may be more effectively exposed through different styles of explanation; 3) Individual differences, including prior positions and judgment criteria of algorithmic fairness, impact how people react to different styles of explanation. We conclude with a discussion on providing personalized and adaptive explanations to support fairness judgments of ML systems.

연구 동기 및 목표

• 다양한 설명 스타일이 기계 학습 시스템에 대한 인간의 공정성 판단에 어떻게 영향을 미치는지 조사하기.
• 일부 설명 유형이 모델 전반의 공정성 문제를 폭 드러내는 데 더 효과적인지 여부를 검토하기.
• 사전 알고리즘 공정성에 대한 입장과 특정 기능에 대한 민감도와 같은 개인의 차이가 설명에 대한 반응을 어떻게 형성하는지 탐색하기.
• 정확하고 신뢰할 수 있는 공정성 판단을 지원하는 개인화되고 적응형인 설명 시스템 설계에 정보를 제공하기.

제안 방법

• 이전 XAI 문헌을 바탕으로 사례 기반, 인구통계 기반, 영향 기반, 민감도 기반의 네 가지 설명 스타일을 자동으로 생성하였다.
• 실제 데이터셋을 사용해 기계 학습 모델을 훈련시켜 설명 생성에 사용할 예측을 생성하였다.
• 160명의 Amazon Mechanical Turk 작업자들을 대상으로 온라인 실험을 실시하여, 다양한 설명 조건 하에서의 공정성 판단을 평가하였다.
• 참가자들은 전역 모델 행동과 개별 예측에 대해 공정성 판단을 내렸으며, 설명은 무작위 순서로 제시되었다.
• 통계 분석을 통해 개인의 사전 공정성 입장과 기능별 시각에 대한 차이를 제어하면서 설명 유형 간 공정성 판단을 비교하였다.
• 질적 피드백을 수집하여 사용자 선호도 및 설명의 명확성과 신뢰성에 대한 인식을 분석하였다.

실험 결과

연구 질문

• RQ1 다양한 설명 스타일은 기계 학습 시스템에 대한 사람들의 공정성 인식에 어떻게 영향을 미치는가?
• RQ2 어떤 설명 스타일이 모델 전반의 공정성 문제를 폭 드러내는 데 더 효과적인가, 또는 사례 중심의 공정성 오류를 드러내는 데 더 효과적인가?
• RQ3 사전 알고리즘 공정성에 대한 신념과 민감한 기능에 대한 시각과 같은 개인의 차이가 설명에 대한 반응을 어떻게 조절하는가?
• RQ4 어느 정도의 수준에서 설명은 ML 공정성 판단에 신뢰를 증진하거나 약화시키는가?

주요 결과

• 영향 기반 및 민감도 기반 설명은 더 높은 신뢰도를 얻었으며, 모델의 공정성에 대한 자신감을 높였다. 반면 사례 기반 및 인구통계 기반 설명은 덜 공정하다고 여겨졌다.
• 과정 중심의 설명(결정이 어떻게 내려졌는지)은 데이터 중심의 설명(어떤 데이터가 사용되었는지)보다 일반적으로 선호되었지만, 후자는 데이터 분포 문제를 드러내는 데 도움이 되었다.
• 기계 학습 시스템에 사전에 회의적인 입장을 가진 참가자들은 설명 스타일에 더 크게 영향을 받았으며, 영향 기반 설명이 불신을 더 효과적으로 감소시켰다.
• 약 1/3의 참가자가 인종을 특성으로 사용하는 것을 중립적 또는 공정하다고 여겼으며, 이는 개인의 공정성 입장에 상당한 다양성이 있음을 시사한다.
• 연구는 공정성 판단이 설명의 내용에만 의존하는 것이 아니라, 사용자의 사전 공정성 인식과 특정 기능에 대한 시각에도 영향을 받는다는 점을 발견했다.
• 전체 모델의 통찰과 국지적 사례 검토를 결합한 하이브리드 설명은 종합적인 공정성 평가에 가장 효과적이라고 평가되었다.