[논문 리뷰] A Study on Fairness and Trust Perceptions in Automated Decision Making

Jakob Schoeffer, Yvette Machowski외 1명|arXiv (Cornell University)|2021. 03. 08.

Ethics and Social Impacts of AI참고 문헌 18인용 수 15

한 줄 요약

이 연구는 자동 대출 결정에서 사용자들이 공정성과 신뢰성에 대해 어떻게 평가하는지에 영향을 미치는 다양한 설명 유형—특히 기능 중요도와 반대 조건 설명—을 조사한다. 프리라이트 연구 결과에 따르면, 더 풍부한 설명은 공정성과 신뢰성에 대한 평가를 크게 향상시키며, 특히 AI 숙련도가 높은 사용자들 사이에서 그러한 효과가 두드러진다. 이는 알고리즘 기반 의사결정의 투명성이 사용자 수용도와 윤리적 인식 향상에 기여할 수 있음을 시사한다.

ABSTRACT

Automated decision systems are increasingly used for consequential decision making -- for a variety of reasons. These systems often rely on sophisticated yet opaque models, which do not (or hardly) allow for understanding how or why a given decision was arrived at. This is not only problematic from a legal perspective, but non-transparent systems are also prone to yield undesirable (e.g., unfair) outcomes because their sanity is difficult to assess and calibrate in the first place. In this work, we conduct a study to evaluate different attempts of explaining such systems with respect to their effect on people's perceptions of fairness and trustworthiness towards the underlying mechanisms. A pilot study revealed surprising qualitative insights as well as preliminary significant effects, which will have to be verified, extended and thoroughly discussed in the larger main study.

연구 동기 및 목표

• 자동 의사결정 시스템에서 다양한 수준의 설명이 사용자들이 공정성과 신뢰성에 대해 어떻게 평가하는지 이해하기 위해.
• 개인의 배경—특히 AI 숙련도와 경험—이 자동 시스템에 대한 인식을 어떻게 형성하는지 분석하기 위해.
• 설명이 제공될 경우 인간 대체자와 자동 시스템 간의 공정성과 신뢰성에 대한 인식을 비교하기 위해.
• 기능 중요도와 반대 조건 설명과 같은 다양한 설명 스타일이 사용자 이해도와 신뢰성 향상에 얼마나 효과적인지 평가하기 위해.
• 대출과 같은 고위험 분야에서 더 투명하고 윤리적으로 수용 가능한 자동 의사결정 시스템 설계를 위한 정보를 제공하기 위해.

제안 방법

• 기능 중요도만, 반대 조건 설명만, 또는 병합된 설명 형식을 제공받는 다양한 조건에 노출된 참가자들을 대상으로 온라인 프리라이트 연구를 수행하였다.
• 참가자들이 다양한 투명도 수준을 가진 자동 대출 결정을 평가하도록 통제된 실험 설계를 사용하였다.
• 사용자 인식을 측정하기 위해 검증된 다항 척도 척도를 사용하였다: 이해 가능성, 절차적 공정성, 정보적 공정성, 신뢰성.
• 배경 데이터로 AI 숙련도와 경험을 포함한 인구통계학적 정보를 수집하여 인식에 미치는 조절 효과를 분석하였다.
• 사용자들이 자동 의사결정에 대한 태도와 특정 기능(예: 성별, 교육 수준, 재산 지역)에 대한 인식을 파악하기 위해 개방형 질문을 활용하였다.
• 각 조건에서 각 척도의 5점 척도 기반 정량적 점수를 분석하여 설명 유형의 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 기능 중요도, 반대 조건 설명, 또는 병합된 형식과 같은 다양한 설명 형식은 자동 대출 결정에서 사용자들이 느끼는 공정성과 신뢰성에 어떤 영향을 미치는가?
• RQ2 사용자의 AI 숙련도와 이전 경험은 자동 의사결정 시스템에 대한 공정성과 신뢰성 인식에 얼마나 조절 효과를 미치는가?
• RQ3 사용자들은 자동 대출 결정에서 특정 결정 요소(예: 성별, 교육 수준, 재산 지역)의 공정성에 대해 어떻게 평가하는가?
• RQ4 반대 조건 설명이 기능 중요도만 제공되는 것보다 사용자 이해도와 신뢰성 향상에 얼마나 더 효과적인가?
• RQ5 설명이 제공될 경우, 자동 의사결정 시스템에 대한 인식은 인간 의사결정자에 대한 인식과 어떻게 비교되는가?

주요 결과

• 병합된 설명 조건(기능 중요도 + 반대 조건 설명)에서 모든 척도의 평균 점수가 가장 높았다: 이해 가능성 4.12, 절차적 공정성 3.91, 정보적 공정성 3.92, 신뢰성 3.83.
• AI 숙련도가 높은 참가자들은 복잡한 설명 형식에 대해 특히 더 유리한 공정성과 신뢰성 인식을 보였다.
• 다수의 참가자들이 인간 결정자보다 자동 시스템이 더 편향되지 않다고 평가했으며, 객관성과 규칙 기반 일관성이 핵심 장점로 지적되었다.
• 많은 참가자들이 성별을 결정 요소로 사용하는 것을 거부했으며, 이는 윤리적으로 잘못되었거나 심지어 법적으로 문제시될 수 있다고 설명했다. 교육 수준과 재산 지역 역시 자주 부적절하다고 평가되었다.
• 반대 조건 설명은 실현 가능하고 행동 가능한 변화(예: 신용 기록 향상, 대출 조건 조정)를 반영할 경우 더 현실적이고 도움이 된다고 평가되었다.
• 일부 참가자들은 자동 시스템이 공감 능력이 없다는 데 대해 회의적인 태도를 보였지만, 개인적 편향을 제거할 수 있다는 점을 고려할 때 더 공정한 결과를 낳을 수 있다는 점을 인정했다.