[논문 리뷰] Perceptions of Fairness and Trustworthiness Based on Explanations in Human vs. Automated Decision-Making

Jakob Schoeffer, Yvette Machowski외 1명|arXiv (Cornell University)|2021. 09. 13.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 연구는 동일한 설명을 제공할 때 고위험 대출 환경에서 사람들은 자동화된 시스템과 인간의 의사결정을 어떻게 공정성과 신뢰성 측면에서 평가하는지 조사한다. 놀랍게도 참가자들은 자동화된 시스템을 인간보다 유의미하게 더 공정하게 인식했으며, 특히 AI 숙련도가 높은 참가자들 사이에서 그러한 경향이 두드러졌다. 그러나 신뢰성에 대해서는 유의미한 차이가 발견되지 않았다.

ABSTRACT

Automated decision systems (ADS) have become ubiquitous in many high-stakes domains. Those systems typically involve sophisticated yet opaque artificial intelligence (AI) techniques that seldom allow for full comprehension of their inner workings, particularly for affected individuals. As a result, ADS are prone to deficient oversight and calibration, which can lead to undesirable (e.g., unfair) outcomes. In this work, we conduct an online study with 200 participants to examine people's perceptions of fairness and trustworthiness towards ADS in comparison to a scenario where a human instead of an ADS makes a high-stakes decision -- and we provide thorough identical explanations regarding decisions in both cases. Surprisingly, we find that people perceive ADS as fairer than human decision-makers. Our analyses also suggest that people's AI literacy affects their perceptions, indicating that people with higher AI literacy favor ADS more strongly over human decision-makers, whereas low-AI-literacy people exhibit no significant differences in their perceptions.

연구 동기 및 목표

• 고위험 맥락에서 자동화된 의사결정 시스템(ADS)과 인간 의사결정자 간의 공정성과 신뢰성에 대한 사람들의 인식을 조사하는 것.
• ADS와 인간 의사결정 시나리오에서 공정성과 신뢰성에 대한 인식에 영향을 미치는 동일한 상세한 설명의 영향을 평가하는 것.
• AI 숙련도의 개인적 차이가 자동화된 의사결정 시스템과 인간 의사결정자에 대한 공정성 및 신뢰성 인식에 미치는 조절 효과를 조사하는 것.
• 은행 대출과 같은 민감한 분야에서 설명 가능성의 역할이 공공의 자동화된 시스템에 대한 인식을 어떻게 형성하는지 탐구하는 것.
• 알고리즘 기반 의사결정에서의 사용자 인식에 대한 이해 부족을 메우기 위해 정보 시스템 연구에 기여하는 것.

제안 방법

• 200명의 참가자를 대상으로 한 온라인 실험을 실시하였으며, 대출 맥락에서 ADS와 인간 의사결정자 간의 비교를 위한 피험자 간 설계를 사용하였다.
• 모든 조건에서 동일하고 상세하며 모델 독립적인 설명—특히 반사적 설명—을 제공하였다.
• 일관성을 확보하기 위해 개인 및 재정 데이터를 포함한 표준화된 시나리오를 사용하였다.
• 검증된 설문 척도를 사용하여 정보 공정성과 신뢰성에 대한 인식을 측정하였다.
• 공정성 및 신뢰성 인식의 배경이 되는 사고 방식을 이해하기 위해 개방형 응답을 수집하고 분석하였다.
• 계층적 선형 모델링을 사용하여 AI 숙련도가 공정성 및 신뢰성 인식에 미치는 조절 효과를 검증하였다.

실험 결과

연구 질문

• RQ1 동일한 설명이 제공되었을 때, 사람들은 자동화된 의사결정 시스템을 인간 의사결정자보다 정보 공정성 측면에서 어떻게 평가하는가?
• RQ2 동일한 설명 조건에서, 사람들은 자동화된 의사결정 시스템을 인간 의사결정자보다 신뢰성 측면에서 어떻게 평가하는가?
• RQ3 AI 숙련도는 자동화된 의사결정 시스템과 인간 의사결정자에 대한 공정성 및 신뢰성 인식에 영향을 미치는가?
• RQ4 참가자들이 자동화된 의사결정과 인간 의사결정에 대해 공정성과 신뢰성을 어떻게 평가하는지에 영향을 미치는 질적 요인은 무엇인가?

주요 결과

• 참가자들은 자동화된 의사결정 시스템을 인간 의사결정자보다 유의미하게 더 공정하게 인식했으며, 정보 공정성의 차이에 대한 p-값은 0.001이었다.
• 자동화된 시스템과 인간 의사결정자 간의 신뢰성 인식에 유의미한 차이가 없었다(p = 0.995).
• 높은 AI 숙련도를 가진 개인들은 자동화된 시스템을 인간 의사결정자보다 더 공정하고 더 신뢰할 수 있다고 평가했으며, 이는 AI 숙련도의 조절 효과를 시사한다.
• 낮은 AI 숙련도를 가진 참가자들은 두 조건 간에 공정성 또는 신뢰성 인식에 유의미한 차이를 보이지 않았다.
• 질적 분석 결과, 참가자들은 자동화된 시스템이 객관적이고 주관성이 없어 더 공정하다고 보는 경향이 있었으며, 많은 이들이 알고리즘이 '기준을 따르며', '객관적으로 데이터를 사용한다'고 설명했다.
• 일부 참가자들은 책임 소재 문제에 대해 우려를 표명했으며, '시스템은 자동화되어 있지만 누군가가 그것을 그렇게 프로그래밍하기로 결정했다'고 언급하여 ADS 구현 시 핵심적인 윤리적 갈등을 드러냈다.