[논문 리뷰] Progressive Disclosure: Designing for Effective Transparency

Aaron Springer, Steve Whittaker|arXiv (Cornell University)|2018. 11. 06.

Ethics and Social Impacts of AI참고 문헌 72인용 수 9

한 줄 요약

이 논문은 지능형 시스템에서 인지 부하를 줄이기 위해 정보를 점진적으로 공개하는 사용자 중심 접근 방식인 점진적 공개를 제안한다. 두 개의 실증 연구를 통해 사용자가 처음에는 점진적 피드백을 선호하지만, 실제로는 그것이 산만하고 전반적인 단순화된 초기 단계의 투명성보다 효과가 떨어진다는 것을 발견했으며, 이에 따라 초기 시스템 상호작용 동안 사용자 히وري스틱과 오류 숨기기를 우선시하는 새로운 설계 원칙을 도출하였다.

ABSTRACT

As we increasingly delegate important decisions to intelligent systems, it is essential that users understand how algorithmic decisions are made. Prior work has often taken a technocentric approach to transparency. In contrast, we explore empirical user-centric methods to better understand user reactions to transparent systems. We assess user reactions to global and incremental feedback in two studies. In Study 1, users anticipated that the more transparent incremental system would perform better, but retracted this evaluation after experience with the system. Qualitative data suggest this may arise because incremental feedback is distracting and undermines simple heuristics users form about system operation. Study 2 explored these effects in depth, suggesting that users may benefit from initially simplified feedback that hides potential system errors and assists users in building working heuristics about system operation. We use these findings to motivate new progressive disclosure principles for transparency in intelligent systems.

연구 동기 및 목표

• 지능형 시스템에서 다양한 투명성 메커니즘에 대한 사용자 반응을 조사하며, 특히 점진적 피드백 대비 전반적 피드백에 초점을 맞춘다.
• 사용자가 투명한 시스템의 이점을 인식하고도 점진적으로 피드백이 제공될 경우 이를 기피하는 이유를 이해한다.
• 시스템 피드백을 사용자 정신 모델과 히وري스틱에 맞추어 효과적인 투명성을 지원하는 설계 원칙을 규명한다.
• 초기 상호작용 동안 시스템 오류를 숨기는 것이 사용자가 시스템 행동에 대해 안정적인 가설을 형성하는 데 어떻게 기여하는지 탐색한다.

제안 방법

• 전체 정보를 사전에 제공하는 전반적 피드백 조건과 단계별로 정보가 공개되는 점진적 피드백 조건에서 사용자가 지능형 시스템과 상호작용하는 두 개의 사용자 연구를 수행하였다.
• 사용자 성과 지표, 선호도 평가, 시스템 사용성과 신뢰도에 대한 개방형 응답을 포함한 정량적 및 정성적 데이터를 수집하였다.
• 투명성이 의사결정, 시스템 신뢰도 평가, 정신 모델 형성에 미치는 영향을 파악하기 위해 사용자 행동과 피드백을 분석하였다.
• 주제 분석을 통해 정성적 응답을 해석하였으며, 사용자가 산만함, 명확성, 시스템 결정보다 높은 자신감을 느끼는 정도에 중점을 두었다.
• 실증적 발견을 바탕으로 정보 공개 시점과 순서를 중시하는 점진적 공개 원칙 세트를 개발하였다.
• 사용자가 시스템 행동에 대한 초도 히وري스틱을 형성한 후에 복잡하거나 오류 관련 피드백을 연기하는 설계 프레임워크를 제안하였다.

실험 결과

연구 질문

• RQ1 사용자가 지능형 시스템에서 점진적 투명성에 대해 기대하는 바와 실제 경험하는 바 사이의 격차는 어떻게 되는가?
• RQ2 초기에는 선호하지만 실제로는 점진적 피드백을 기피한다고 보고하는 사용자의 이유는 무엇인가?
• RQ3 점진적 공개가 사용자가 시스템 행동에 대해 정확한 정신 모델을 형성하는 데 영향을 미치는 정도는 어느 정도인가?
• RQ4 오류 공개 시점이 사용자 신뢰도와 시스템 사용성에 미치는 영향는 어떠한가?
• RQ5 사용자를 혼란스럽게 하지 않으면서도 투명성을 향상시킬 수 있는 설계 전략은 무엇인가?

주요 결과

• 사용자는 점진적 피드백 시스템이 더 잘 작동할 것으로 예상했지만, 상호작용 후에는 전반적 피드백 시스템을 선호했으며, 이는 기대와 경험 사이의 괴리가 있음을 시사한다.
• 점진적 피드백은 사용자가 시스템 작동 방식에 대한 단순한 히وري스틱을 형성하는 데 방해가 된다고 평가되었다.
• 오류를 숨긴 단순화된 초기 단계의 피드백은 사용자가 복잡성에 노출되기 전에 안정적인 정신 모델을 형성하는 데 도움이 되었다.
• 빈번하고 세밀한 피드백은 정보가 정확하더라도 시스템의 신뢰도가 낮게 평가되고 인지 부하가 증가시켰다.
• 투명성을 연기하고 히وري스틱 개발을 지원하도록 체계적으로 구성할 경우 사용자는 더 높은 자신감과 더 나은 성과를 보였다.
• 이러한 발견들은 기술 중심의 투명성에서 사용자 중심의 정보 공개 전략으로의 전환을 지지하며, 이는 인지적 편의성과 정신 모델 형성에 우선순위를 두고 있다.