[论文解读] Measuring Transparency in Intelligent Robots

Georgios Angelopoulos, Dimitri Lacroix+4 more|arXiv (Cornell University)|Aug 29, 2024

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本论文提出了TOROS，这是首个经过跨语言验证的标准化心理测量量表，用于衡量智能机器人在人机交互中被感知到的透明度。该量表通过在英语、德语和意大利语地区共1,223名参与者中开展的三阶段研究开发而成，包含26个条目和三个维度——不可读性（Illegibility）、可解释性（Explainability）与可预测性（Predictability），展现出高度的信度、效度以及跨语言一致性，为人类-机器人交互研究提供了基准工具。

ABSTRACT

As robots become increasingly integrated into our daily lives, the need to make them transparent has never been more critical. Yet, despite its importance in human-robot interaction, a standardized measure of robot transparency has been missing until now. This paper addresses this gap by presenting the first comprehensive scale to measure perceived transparency in robotic systems, available in English, German, and Italian languages. Our approach conceptualizes transparency as a multidimensional construct, encompassing explainability, legibility, predictability, and meta-understanding. The proposed scale was a product of a rigorous three-stage process involving 1,223 participants. Firstly, we generated the items of our scale, secondly, we conducted an exploratory factor analysis, and thirdly, a confirmatory factor analysis served to validate the factor structure of the newly developed TOROS scale. The final scale encompasses 26 items and comprises three factors: Illegibility, Explainability, and Predictability. TOROS demonstrates high cross-linguistic reliability, inter-factor correlation, model fit, internal consistency, and convergent validity across the three cross-national samples. This empirically validated tool enables the assessment of robot transparency and contributes to the theoretical understanding of this complex construct. By offering a standardized measure, we facilitate consistent and comparable research in human-robot interaction in which TOROS can serve as a benchmark.

研究动机与目标

• 为解决人机交互（HRI）中缺乏标准化、实证验证的被感知透明度测量方法的问题。
• 开发一个多维量表，以捕捉机器人透明度的关键方面：可解释性、可读性、可预测性以及元理解能力。
• 通过在英语、德语和意大利语中的验证，确保量表具有跨语言适用性与可靠性。
• 为未来HRI研究提供基准工具，以评估透明度对信任、表现和用户体验的影响。

提出的方法

• 通过三阶段流程开发TOROS量表：条目生成、探索性因子分析（EFA）与验证性因子分析（CFA）。
• 通过图像情景与视频场景，从德国、意大利及英语地区三个国家共收集1,223名参与者的调查数据。
• 采用心理测量技术，包括内部一致性（Cronbach’s alpha）、模型拟合指数（CFI、TLI、RMSEA）以及测量不变性检验（配置性、测量性、标度性、残差不变性）。
• 通过与信任和感知可理解性等相关构念的皮尔逊相关系数，验证量表的收敛效度。
• 开展跨语言验证，以确保不同语言群体间的可比性，尽管在标度性不变性方面存在部分限制。
• 使用受控的、基于情景的刺激材料，以隔离并操纵透明度水平，确保量表校准的可靠性。

Figure 1: The three stages of the scale development.

实验结果

研究问题

• RQ1 如何系统性地将智能机器人的被感知透明度测量为一个多维构念？
• RQ2 在人机交互中，被感知透明度的潜在因子结构是什么？其在不同语言间是否存在差异？
• RQ3 TOROS量表在不同语言与文化背景下具有多大程度的信度与效度？
• RQ4 可解释性、可预测性与不可读性在用户对机器人透明度的整体感知中分别起到何种作用？
• RQ5 TOROS量表能否作为未来HRI研究中关于透明度相关结果的可靠且有效的基准工具？

主要发现

• TOROS量表包含26个条目和三个明确的因子：不可读性、可解释性与可预测性，所有语言版本的内部一致性均表现良好（Cronbach’s alpha > 0.80）。
• 在验证性因子分析中，量表展现出优异的模型拟合度（CFI > 0.95，TLI > 0.90，RMSEA < 0.06），证实其结构效度的稳健性。
• 量表在不同语言间实现了配置性与测量性测量不变性，支持跨文化可比性，尽管标度性与残差不变性仅部分达成。
• 通过与信任及感知可理解性的显著正相关，证实了量表的收敛效度，支持其构念效度。
• 尽管可能存在事后偏见，但在可预测性因子中未观察到天花板效应，表明量表能有效捕捉被感知透明度的变异。
• 不同语言间在透明度感知上存在轻微差异，但差异较小，未显著影响整体量表表现或交互效应。

Figure 2: Scree plot illustrating the eigenvalues of extracted factors.