[논문 리뷰] Can Explainable AI Explain Unfairness? A Framework for Evaluating Explainable AI

Kiana Alikhademi, Brianna Richardson외 2명|arXiv (Cornell University)|2021. 06. 14.

Explainable Artificial Intelligence (XAI)참고 문헌 27인용 수 23

한 줄 요약

이 논문은 기계학습 모델에서의 편향과 부당성 문제를 탐지하고 이를 효과적으로 통신할 수 있는 능력을 평가하기 위해 설명 가능 AI(XAI) 도구를 위한 공정성 인식 평가 프레임워크를 제안한다. 이 프레임워크는 데이터, 모델, 설명의 세 가지 차원에서 XAI 도구를 평가하며, 강력한 설명 가능성 능력에도 불구하고 공정성 탐지 능력에 심각한 격차가 있음을 드러내고, AI 시스템에서 '공정성 위장(fairwashing)'을 방지하기 위해 향상된 도구 개발이 필요하다고 촉구한다.

ABSTRACT

Many ML models are opaque to humans, producing decisions too complex for humans to easily understand. In response, explainable artificial intelligence (XAI) tools that analyze the inner workings of a model have been created. Despite these tools' strength in translating model behavior, critiques have raised concerns about the impact of XAI tools as a tool for `fairwashing` by misleading users into trusting biased or incorrect models. In this paper, we created a framework for evaluating explainable AI tools with respect to their capabilities for detecting and addressing issues of bias and fairness as well as their capacity to communicate these results to their users clearly. We found that despite their capabilities in simplifying and explaining model behavior, many prominent XAI tools lack features that could be critical in detecting bias. Developers can use our framework to suggest modifications needed in their toolkits to reduce issues likes fairwashing.

연구 동기 및 목표

• XAI 도구가 편향된 모델를 잘못된 방식으로 정당화하는 '공정성 위장(fairwashing)' 문제에 대응하기 위해 체계적인 평가 프레임워크를 구축하기 위해.
• 기존 XAI 도구들이 데이터 및 모델 행동에서의 편향과 부당성 문제를 얼마나 잘 탐지하고 설명하는지 평가하기 위해.
• 윤리적인 AI 구현을 지원하기 위해 XAI 툴킷 개발자들이 도구에 공정성 인식 기능을 통합하도록 안내하기 위해.
• 설명 가능 AI와 공정한 AI 사이의 격차를 해소하기 위해 공정성 평가를 XAI 도구 설계에 통합하기 위해.

제안 방법

• 공정성 관련 기능을 평가하기 위한 세 가지 핵심 범주(데이터, 모델, 설명)를 포함한 통합된 공정성 척도를 개발하였으며, 각 범주는 하위 구성 요소를 통해 공정성 관련 기능을 평가한다.
• LIME, SHAP, 테이블 데이터용 LIME, 이미지 데이터용 LIME, IBM의 AI 해석 가능성 360(AIX360) 등 주요 5종의 XAI 도구를 대상으로 척도를 적용하여 평가하였다.
• 도구가 편향된 데이터를 탐지하고, 모델 선택을 평가하며, 이해하기 쉬운 공정성 피드백을 제공하는 능력을 기반으로 평가하였다.
• 합성 및 실제 데이터셋을 활용한 사례 연구를 통해 도구가 집단 수준 및 개인 수준의 부당성 문제를 어떻게 식별하는지 성능을 테스트하였다.
• 민감한 특성 지원, 하위군 비교, 사전 처리 단계의 편향 탐지 기능을 평가하였다.
• 발견된 功能 격차와 사용자 중심의 사용성 요구사항을 바탕으로 향후 XAI 도구의 설계 권고 사항을 제안하였다.

실험 결과

연구 질문

• RQ1 현재 XAI 도구들이 기계학습 모델과 학습 데이터에서의 부당성을 어느 정도 탐지하고 설명할 수 있는가?
• RQ2 XAI 도구들은 집단 수준과 개인 수준의 부당성을 식별하는 데 얼마나 잘 기능하는가?
• RQ3 기존 XAI 툴킷에서 빠져 있는 핵심적인 공정성 관련 기능은 무엇이며, 이러한 누락이 '공정성 위장'을 가능하게 하는가?
• RQ4 다양한 기계학습 숙련도를 가진 사용자 그룹을 고려할 때, XAI 도구는 어떻게 향상되어야 공정성 평가를 지원할 수 있는가?
• RQ5 설명 가능하고 동시에 공정한 도구를 개발하기 위해 따라야 할 설계 원칙은 무엇인가?

주요 결과

• LIME와 SHAP는 국소적 설명 가능성은 뛰어나지만, 데이터 수준의 편향이나 모델 선택 문제 탐지 기능이 부족했다.
• IBM의 AIX360는 AIF360와의 통합 및 다양한 공정성 지표 지원 덕분에 척도에서 가장 높은 점수를 기록했지만, 선택 편향과 같은 대규모 데이터 불균형 문제를 여전히 간과했다.
• 대부분의 XAI 도구가 레이블 인코딩과 같은 사전 처리 단계를 평가하지 못해 의도하지 않은 수치적 편향이 발생할 수 있음을 확인했다.
• 예측의 하위군 비교를 완전히 지원하는 도구는 없었으며, 이는 집단 기반의 부당성 탐지에 필수적인 요구사항이었다.
• 연구에서 드러난 핵심 격차는, XAI 도구가 모델 출력을 잘 설명하지만, 부당성 문제의 탐지 및 통신 능력은 떨어진다는 점이었다.
• 이 프레임워크는 XAI 도구의 실질적인 기능 결함를 효과적으로 특정하였으며, 향후 공정성 인식 설명 가능성에 초점을 맞춘 도구 개발의 기초를 마련하였다.