[논문 리뷰] Mapping the Potential of Explainable AI for Fairness Along the AI Lifecycle

Luca Deck, Astrid Schomäcker외 4명|arXiv (Cornell University)|2024. 04. 29.

Impact of AI and Big Data on Business and SocietyDecision Sciences인용 수 3

한 줄 요약

이 논문은 인공지능 시스템에서 여덟 가지 구분되는 공정성 지향 목표를 규명하고, 이를 인공지능 생명주기 단계에 따라 맵핑하며, 설명 가능한 인공지능(XAI) 기법이 각 공정성 목표를 가장 관련성이 높은 생명주기 단계에서 어떻게 해결할 수 있는지 분석한다. 주요 기여는 개발, 배포, 모니터링 전반에 걸쳐 특정 공정성 목표와 타겟된 XAI 간섭을 연결하는 체계적인 프레임워크를 제공하는 것이다.

ABSTRACT

The widespread use of artificial intelligence (AI) systems across various domains is increasingly surfacing issues related to algorithmic fairness, especially in high-stakes scenarios. Thus, critical considerations of how fairness in AI systems might be improved -- and what measures are available to aid this process -- are overdue. Many researchers and policymakers see explainable AI (XAI) as a promising way to increase fairness in AI systems. However, there is a wide variety of XAI methods and fairness conceptions expressing different desiderata, and the precise connections between XAI and fairness remain largely nebulous. Besides, different measures to increase algorithmic fairness might be applicable at different points throughout an AI system's lifecycle. Yet, there currently is no coherent mapping of fairness desiderata along the AI lifecycle. In this paper, we we distill eight fairness desiderata, map them along the AI lifecycle, and discuss how XAI could help address each of them. We hope to provide orientation for practical applications and to inspire XAI research specifically focused on these fairness desiderata.

연구 동기 및 목표

• 공정성 목표와 인공지능 생명주기 간의 일관성 없는 맵핑을 해결하기 위해.
• 인공지능에서의 공정성에 대한 다양한 개념을 명확히 하여 이를 상호 배타적이지 않은 독립된 지향 목표로 구분하기 위해.
• XAI 기법이 생명주기의 다양한 단계에서 특정 공정성 목표를 달성하기 위해 전략적으로 어떻게 적용될 수 있는지 검토하기 위해.
• 연구자, 개발자, 규제 기관이 공정성 중심의 XAI 개발을 이끄는 데 사용할 수 있는 체계적이고 다학문적인 기반을 제공하기 위해.
• COMPAS 재범 예측 시스템에 대한 사례 연구를 통해 프레임워크의 실용성을 입증하기 위해.

제안 방법

• 저자는 다학문적 문헌에서 여덟 가지 공정성 지향 목표를 도출한다: 공정성 이해, 데이터 공정성, 형식적 공정성, 인식된 공정성, 인간 감독이 있는 공정성, 능력 강화 공정성, 장기적 공정성, 정보 공정성.
• 각 공정성 지향 목표를 인공지능 생명주기의 특정 단계—예를 들어 데이터 수집, 모델 훈련, 배포, 모니터링—에 맵핑하며, 각 공정성 목표가 가장 관련성이 높은 단계에 따라 배치한다.
• 각 맵핑된 지향 목표에 대해, 해당 생명주기 단계에서 이를 해결하는 데 가장 적합한 XAI 방법(예: 특성 중요도, 반사적 설명, 후행 해석 가능성)을 분석한다.
• 프레임워크는 COMPAS 재범 예측 알고리즘에 대한 상세한 사례 연구를 통해 검증되며, XAI가 생명주기의 다양한 단계에서 공정성 목표와 어떻게 일치할 수 있는지 보여준다.
• 컴퓨터 과학, 윤리학, 법학, 사회과학의 통찰을 통합하여 개념적 탄탄함과 다학문적 관련성을 확보한다.
• 저자는 정의된 절차 모델을 제안하지는 않지만, 생명주기 맥락에 기반해 XAI를 공정성 목표와 연결하는 개념적 도로도를 제공한다.

실험 결과

연구 질문

• RQ1 인공지능 생명주기의 다양한 단계에서 가장 관련성이 높은 공정성 지향 목표는 무엇인가?
• RQ2 특정 공정성 목표를 가장 적절한 생명주기 단계에서 달성하기 위해 XAI 기법을 어떻게 전략적으로 선택할 수 있는가?
• RQ3 현재 XAI 접근법은 기술적 공정성 외의 다양한 공정성 개념을 다루는 데에서 어떤 한계를 지니는가?
• RQ4 COMPAS 사례는 XAI를 생명주기 전반에 걸쳐 공정성과 통합하는 데서의 잠재력과 과제를 어떻게 보여주는가?
• RQ5 이 프레임워크는 저위험 및 생성형 인공지능 시스템으로 일반화될 수 있는가?

주요 결과

• 연구는 개념적으로 상이하고 상호 배타적이지 않은 여덟 가지 공정성 지향 목표를 규명하며, 각 목표는 생명주기의 다른 단계에서 맞춤형 간섭이 필요하다.
• XAI는 공정성의 '일괄적 해결책'이 아니며, 특정 XAI 방법을 적절한 생명주기 단계에서 특정 공정성 목표와 일치시킬 때 효과가 극대화된다.
• COMPAS 사례 연구는 XAI가 편향된 결과를 탐지하고 설명하는 데 도움이 되며, 특히 인식된 공정성과 인간 감독이 있는 공정성 지원에 효과적임을 보여준다.
• 장기적 공정성과 능력 강화 공정성은 주로 배포 후 단계에서 지속적인 모니터링과 사용자 주도권을 지원하는 XAI 메커니즘을 통해 가장 효과적으로 달성된다.
• 프레임워크는 현재 XAI 연구가 인식된 공정성과 정보 공정성과 같은 비기술적 공정성 차원을 종종 간과하고 있음을 드러내며, 이는 이해관계자 신뢰에 핵심적이다.
• 이 접근법은 생성형 인공지능 시스템이 낮은 위험으로 분류되더라도 여전히 표현적 해를 유발할 수 있으며, 초기 단계부터 공정성 인식 XAI가 필요하다는 점을 강조한다.