[논문 리뷰] "I had a solid theory before but it's falling apart": Polarizing Effects of Algorithmic Transparency

Aaron Springer, Steve Whittaker|arXiv (Cornell University)|2018. 11. 06.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 알고리즘 투명성이 사용자 신뢰에 미치는 영향을 조사하며, 투명성이 사용자가 시스템에 대해 사전에 정립한 정서 모델이 있는지 여부에 따라 사용자 인식을 극적으로 갈라지게 한다는 역설을 드러낸다. 연구 결과, 사전 이론을 가진 사용자는 투명성 제공 시 결함에 집중하여 신뢰를 떨어뜨리지만, 그러한 모델이 없는 사용자는 명확성이 증가함에 따라 혼란이 줄어들고 신뢰가 증가한다.

ABSTRACT

The rise of machine learning has brought closer scrutiny to intelligent systems, leading to calls for greater transparency and explainable algorithms. We explore the effects of transparency on user perceptions of a working intelligent system for emotion detection. In exploratory Study 1, we observed paradoxical effects of transparency which improves perceptions of system accuracy for some participants while reducing accuracy perceptions for others. In Study 2, we test this observation using mixed methods, showing that the apparent transparency paradox can be explained by a mismatch between participant expectations and system predictions. We qualitatively examine this process, indicating that transparency can undermine user confidence by causing users to fixate on flaws when they already have a model of system operation. In contrast transparency helps if users lack such a model. Finally, we revisit the notion of transparency and suggest design considerations for building safe and successful machine learning systems based on our insights.

연구 동기 및 목표

• 알고리즘 투명성이 사용자 인지에 미치는 심리적 영향, 특히 AI 시스템 정확성에 대한 인식에 미치는 영향을 분석한다.
• 투명성이 왜 때로는 사용자 신뢰를 향상시키고, 때로는 손상시키는지 탐구한다.
• 사용자의 사전 정립된 정서 모델이 시스템 설명에 대한 반응을 어떻게 형성하는지 역할을 규명한다.
• 투명성이 사용자 자신감을 증가시키는지 혹은 떨어뜨리는지에 영향을 미치는 조건을 탐색한다.
• 사용자의 인지와 기대를 바탕으로 신뢰할 수 있고 효과적인 기계 학습 시스템 설계 원칙을 도출한다.

제안 방법

• 감정 탐지 시스템에서 투명성에 대한 사용자 반응을 관찰하기 위해 탐색적 Study 1을 수행하였다.
• Study 2에서는 혼합 방법을 활용하여 정성적 인터뷰와 정량적 인식 평가를 결합하였다.
• 사용자 기대와 시스템 예측 간 괴리가 인식 변화의 주요 원인임을 식별하기 위해 사용자 반응을 분석하였다.
• 정성적 코드 분석을 통해 사용자가 투명성에 어떻게 해석하고 반응하는지 분석하였으며, 특히 결함에 집중하는 경향을 중심으로 분석하였다.
• 사용자 시스템 운영에 대한 사전 정립된 정서 모델이 있는가 없는가에 따라 사용자 행동을 대조 분석하였다.
• 사용자 정서 모델을 핵심 변수로 강조하며, 인지적 관점에서 투명성 개념을 재고하였다.

실험 결과

연구 질문

• RQ1 AI 시스템의 의사결정 과정에 대한 투명성을 제공할 경우 사용자가 시스템의 정확성에 대해 어떻게 평가하는가?
• RQ2 더 많은 정보를 제공함에도 불구하고 투명성이 왜 때로는 사용자 신뢰를 감소시키는가?
• RQ3 사용자가 시스템 행동에 대해 사전에 정립한 정서 모델이 투명성에 대한 반응에 미치는 역할은 무엇인가?
• RQ4 투명성이 사용자 자신감을 향상시키는가 아니면 떨어뜨리는가에 영향을 미치는 조건은 무엇인가?
• RQ5 기계 학습 시스템에서 투명성이 신뢰를 증진시키기 위해 어떻게 설계되어야 하는가?

주요 결과

• 투명성은 역설적인 결과를 낳았다: 일부 사용자는 시스템을 더 정확하게 인식했고, 일부는 더 정확하지 않게 인식했다.
• 이미 시스템에 대한 정서 모델을 가진 사용자는 투명성이 제공될 경우 결함에 더 집중하여 신뢰를 떨어뜨렸다.
• 사전 정립된 정서 모델이 없는 사용자는 투명성 덕분에 기대치가 명확해지고 자신감이 증가했다.
• 사용자 기대와 시스템 예측 간 괴리가 투명성에 대한 부정적 반응의 주요 원인이었다.
• 사용자가 가시화된 모순이나 제한점에 집중할 경우 투명성이 자신감을 떨어뜨릴 수 있다.
• 연구 결과, 투명성이 항상 유익한 것은 아니며, 사용자의 인지 상태와 정서 모델에 맞게 맞춤화되어야 한다.