[论文解读] Evaluating Privacy, Security, and Trust Perceptions in Conversational AI: A Systematic Review

Anna Leschanowsky, Silas Rech+2 more|arXiv (Cornell University)|Jun 13, 2024

Ethics and Social Impacts of AI被引用 4

一句话总结

本篇系统性文献回顾研究了对话式人工智能（CAI）系统中的隐私、安全与信任感知，分析了超过100项研究，以识别方法论趋势、量表的可靠性以及概念上的重叠。研究发现，尽管大多数研究将某一构念孤立研究，但隐私、安全与信任通过共享的次级构念深度关联，因此呼吁采用联合测量、经过验证的量表，以改进可信CAI系统的构建。

ABSTRACT

Conversational AI (CAI) systems which encompass voice- and text-based assistants are on the rise and have been largely integrated into people's everyday lives. Despite their widespread adoption, users voice concerns regarding privacy, security and trust in these systems. However, the composition of these perceptions, their impact on technology adoption and usage and the relationship between privacy, security and trust perceptions in the CAI context remain open research challenges. This study contributes to the field by conducting a Systematic Literature Review and offers insights into the current state of research on privacy, security and trust perceptions in the context of CAI systems. The review covers application fields and user groups and sheds light on empirical methods and tools used for assessment. Moreover, it provides insights into the reliability and validity of privacy, security and trust scales, as well as extensively investigating the subconstructs of each item as well as additional concepts which are concurrently collected. We point out that the perceptions of trust, privacy and security overlap based on the subconstructs we identified. While the majority of studies investigate one of these concepts, only a few studies were found exploring privacy, security and trust perceptions jointly. Our research aims to inform on directions to develop and use reliable scales for users' privacy, security and trust perceptions and contribute to the development of trustworthy CAI systems.

研究动机与目标

• 了解当前关于对话式人工智能（CAI）系统中隐私、安全与信任感知的研究现状。
• 识别用于评估这些感知的方法论方法，包括实证工具与量表。
• 评估现有CAI情境下隐私、安全与信任感知量表的可靠性和有效性。
• 调查CAI中隐私、安全与信任在概念上的重叠以及共享的次级构念。
• 通过改进并经过验证的测量框架，指导更具可信度的CAI系统开发。

提出的方法

• 遵循PRISMA指南开展系统性文献回顾（SLR），以识别关于CAI中隐私、安全与信任的同行评审研究。
• 通过标题、摘要和全文分析筛选超过1,000项研究，最终选定100多项相关实证研究。
• 映射并分析研究方法，包括调查（45%用于隐私/安全）、实验、情景案例研究、访谈以及混合方法设计。
• 使用Cronbach’s alpha和建构效度等标准，评估感知量表的可靠性和有效性。
• 识别并分类支撑隐私、安全与信任感知的次级构念（例如：数据控制、透明度、拟人化）。
• 采用主题分析法，探索概念上的重叠程度，以及研究中联合评估三者的情况。

实验结果

研究问题

• RQ1 评估对话式人工智能系统中隐私、安全与信任感知时，主要采用的研究方法与工具是什么？
• RQ2 现有用于测量CAI情境下隐私、安全与信任感知的量表在可靠性和有效性方面如何？
• RQ3 CAI中关于隐私、安全与信任的研究在多大程度上联合评估了这三个构念，而非孤立研究？
• RQ4 支撑隐私、安全与信任感知的次级构念有哪些？它们在不同研究中如何重叠？
• RQ5 影响用户在CAI中对隐私、安全与信任感知的关键情境与人口统计因素是什么？

主要发现

• 60%的研究采用定量方法，其中调查是最常见的方法（45%用于隐私/安全），但仅有81%的信任研究使用调查。
• 仅有极少数研究（不足10%）联合研究了隐私、安全与信任感知，表明存在显著的研究缺口。
• 数据控制、透明度、拟人化以及感知意图等次级构念在隐私、安全与信任构念中频繁共享。
• 隐私与信任量表显示出中等到较高的可靠性（60%的情况下Cronbach’s alpha ≥ 0.7），但许多量表是从非CAI情境中改编而来，未在CAI环境中进行验证。
• 最常引用的信任量表基于Mayer等人（1995）和Lankton等人（2015）的研究，而隐私量表则多基于隐私感知量表（PPS）及其类似工具。
• 在测量心理与行为因素（如感知的或然性、技术乐观主义以及社会披露）与CAI信任之间的关系方面，存在显著缺口。