[논문 리뷰] What Are You Hiding? Algorithmic Transparency and User Perceptions

Aaron Springer, Steve Whittaker|arXiv (Cornell University)|2018. 12. 07.

Ethics and Social Impacts of AI참고 문헌 9인용 수 7

한 줄 요약

이 연구는 알고리즘 투명성이 감정 예측 시스템에 대한 사용자 인식에 어떻게 영향을 미치는지 조사한다. 투명성이 예측 기대가 어긋나지 않을 경우 정확도 인식을 낮출 수 있지만, 사용자 기대와 예측이 어긋날 경우 부정적인 반응을 완화한다는 것을 발견했다. 저자들은 통제된 사용자 실험을 통해 감정 예측 시스템 기반 텍스트 기반 시스템을 활용하여 투명성 연구에서 갈등하는 결과를 통합하는 통합 모델을 제안한다.

ABSTRACT

Extensive recent media focus has been directed towards the dark side of intelligent systems, how algorithms can influence society negatively. Often, transparency is proposed as a solution or step in the right direction. Unfortunately, research is mixed on the impact of transparency on the user experience. We examine transparency in the context an interactive system that predicts positive/negative emotion from a users' written text. We unify seemingly this contradictory research under a single model. We show that transparency can negatively affect accuracy perceptions for users whose expectations were not violated by the system's prediction; however, transparency also limits the damage done when users' expectations are violated by system predictions.

연구 동기 및 목표

• 알고리즘 투명성이 감정 예측 시스템에서 사용자 인식의 정확도와 신뢰에 어떤 영향을 미치는지 조사하기.
• 투명성 연구에서 갈등하는 결과를 해결하기 위해, 사용자 경험을 향상시키거나 해칠 수 있는 조건을 특정하기.
• 사용자 예측에 대한 기대가 투명성과 어떻게 상호작용하여 시스템 성능 인식을 형성하는지 조사하기.
• 사용자-AI 상호작용에서 투명성이 혼합된 영향을 미치는 이유를 설명하는 통합 모델 개발하기.

제안 방법

• 메시지의 정서를 긍정 또는 부정으로 분류하는 텍스트 기반 감정 예측 시스템과 상호작용하는 참가자를 대상으로 통제된 사용자 실험을 실시했다.
• 알고리즘의 예측 근거와 신뢰도 수준을 표시하거나 숨김으로써 투명성을 조작했다.
• 예측 노출 전후로 사용자의 정확도, 신뢰도, 정서적 반응 인식을 측정했다.
• 사용자 기대를 수집하고 실제 시스템 예측과 비교하여 기대 위반 여부를 평가했다.
• 통계 분석을 통해 기대 조건에 따라 투명성이 인식 결과에 어떤 영향을 미치는지 평가했다.
• 투명성이 이중적인 역할을 하는 이유를 설명하는 통합 모델을 제안했다: 기대가 충족될 경우 정확도 인식을 낮추지만, 기대가 어긋날 경우 피해를 줄인다.

실험 결과

연구 질문

• RQ1 알고리즘 투명성은 감정 예측 시스템에서 사용자의 정확도 인식에 어떤 영향을 미치는가?
• RQ2 투명성이 사용자 신뢰에 영향을 미치는 조건은 무엇인가? 즉, 언제는 향상시키고, 언제는 해칠 수 있는가?
• RQ3 사용자 예측에 대한 기대가 투명성의 인식에 미치는 영향을 어떻게 조절하는가?
• RQ4 기존 연구에서 AI 시스템의 투명성 효과에 대해 갈등하는 결과가 보고된 이유는 무엇인가?
• RQ5 통합 모델은 인간-AI 상호작용에서 투명성의 영향에 대한 모순된 결과를 설명할 수 있는가?

주요 결과

• 사용자 기대가 시스템 예측에 의해 어긋나지 않을 경우, 투명성이 정확도 인식을 감소시켰다.
• 사용자 기대가 어긋날 경우, 투명성이 부정적인 정서적 반응을 크게 줄이고 정의로움 인식을 향상시켰다.
• 투명한 설명을 받은 사용자들은 예측이 자신의 기대와 다를 경우 더 높은 신뢰를 보였다.
• 연구에서 투명성이 이중적 효과를 가진다는 것이 발견되었다: 갈등이 적은 상황에서는 정확도 인식을 떨어뜨릴 수 있지만, 갈등이 큰 상황에서는 사용자 인식을 보호했다.
• 제안된 통합 모델은 기대 위반 여부 조건을 구분함으로써 이전 연구에서 갈등하는 결과를 성공적으로 통합했다.
• 투명한 설명을 받은 참가자들은 기대가 어긋날 경우 잘못된 예측도 합리적인 것으로 더 잘 수용했다.