[논문 리뷰] On the Relationship Between Explanations, Fairness Perceptions, and Decisions

Jakob Schoeffer, Maria De‐Arteaga외 1명|arXiv (Cornell University)|2022. 04. 27.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 인간-AI 의사결정에서 설명, 정의로운 절차 인식, AI에 대한 의존도, 그리고 분배적 정의를 연결하는 개념적 프레임워크를 제안한다. 잘못된 설명은 정의로운 절차 인식을 왜곡하여 부적절한 AI 의존도를 초래하고 분배적 정의를 약화시킬 수 있음을 밝혀내며, 현재의 XAI 연구에서 극복해야 할 핵심적 격차를 드러낸다.

ABSTRACT

It is known that recommendations of AI-based systems can be incorrect or unfair. Hence, it is often proposed that a human be the final decision-maker. Prior work has argued that explanations are an essential pathway to help human decision-makers enhance decision quality and mitigate bias, i.e., facilitate human-AI complementarity. For these benefits to materialize, explanations should enable humans to appropriately rely on AI recommendations and override the algorithmic recommendation when necessary to increase distributive fairness of decisions. The literature, however, does not provide conclusive empirical evidence as to whether explanations enable such complementarity in practice. In this work, we (a) provide a conceptual framework to articulate the relationships between explanations, fairness perceptions, reliance, and distributive fairness, (b) apply it to understand (seemingly) contradictory research findings at the intersection of explanations and fairness, and (c) derive cohesive implications for the formulation of research questions and the design of experiments.

연구 동기 및 목표

• 설명이 공정한 의사결정에서 인간과 AI의 상호보완성을 가능하게 하는지에 대한 경험적 증거 부족 문제를 해결하기 위해.
• XAI 및 정의성 연구에서 서로 모순되는 결과를 해소하기 위해 절차적 정의 인식이 중개 역할을 하는 것을 규명하기 위해.
• 잘못된 설명이 인식을 왜곡하고 AI에 대한 잘못된 의존도를 초래함으로써 분배적 정의를 해칠 수 있는 방식을 조사하기 위해.
• 정의로운 인식을 넘어서, 의존도 및 실제 의사결정 결과에 대한 영향까지 포함하는 통합적 프레임워크를 제공하기 위해.

제안 방법

• 절차적 정의 인식과 AI에 대한 의존도를 통해 설명에서 분배적 정의에 이르는 인과적 경로를 묘사하는 개념적 프레임워크를 제안한다.
• 기존 연구를 세 집단으로 분류한다: (A) XAI와 정의로운 인식, (B) XAI와 의존도, (C) 의존도와 분배적 정의.
• 프레임워크를 활용해 이전 연구 결과의 모순을 분석하고, 연구가 산산이 흩어지거나 완성되지 않은 부분을 특정한다.
• 의도적인 조작이 없더라도 설명이 잘못되었을 경우 인식이 오도될 수 있음을 밝히며, 주의 히트맵 설명에서의 기능 기반 기만 사례를 제시한다.
• 잘못된 설명으로 인해 인식이 잘못 조정될 경우, AI 도입이 불필요하게 증가하거나 부적절한 무시가 발생할 수 있음을 제안한다.
• 절차적 정의 인식과 의존도를 통해 설명에서 분배적 정의에 이르는 전 과정을 경험적으로 검증하기 위한 향후 인간 대상 실험을 기획한다.

실험 결과

연구 질문

• RQ1 설명이 정의로운 인식을 오도할 경우, 이는 분배적 정의에 해로운 방식으로 AI 권고에 대한 의존도를 어떻게 오도하는가?
• RQ2 잘못된 설명은 권고가 공정하거나 정확하지 않더라도, AI에 대한 부적절한 신뢰를 얼마나 높일 수 있는가?
• RQ3 절차적 정의 인식은 설명과 실제 AI 권고에 대한 의존 행동 간의 관계를 어떻게 중개하는가?
• RQ4 형식적으로는 공정해 보이지만 내용적으로나 속임수를 포함하는 설명은 인구 집단 간에 어떻게 불균형한 의사결정 결과를 초래할 수 있는가?

주요 결과

• 설명은 인공지능 시스템이 인종이나 성별과 같은 민감한 속성을 기반으로 한다는 사실을 감추고 있어도 절차적 정의를 느끼게 할 수 있다.
• 잘못된 설명이 사용자를 속여 공정하지 않은 모델에 신뢰를 갖게 할 수 있으며, 이는 합법적인 특징과 민감한 특징 간의 상관관계를 악용한 사례에서 입증되었다.
• 기존 연구들은 설명이 인간의 의사결정을 일관되게 향상시키거나 편향을 줄이지 못하며, 일부 경우에서는 AI에 대한 과도한 의존도를 초래함을 보여주었다.
• 실제로 설명이 인간과 AI의 상호보완성을 향상시키거나 분배적 정의를 향상시킨다는 확실한 증거는 없다.
• AI에 대한 의존도는 정의로운 인식에 영향을 받으며, 특히 기만적인 설명으로 인해 인식이 잘못 조정되면 의존도가 부적절해질 수 있다.
• 프레임워크는 핵심적 격차를 드러낸다: 대부분의 XAI 연구는 인식이나 성능와 같은 고립된 구성요소에 집중할 뿐, 설명에서 정의 결과에 이르는 전 과정을 통합적으로 다루지 못하고 있다.