[논문 리뷰] Measuring Transparency in Intelligent Robots

Georgios Angelopoulos, Dimitri Lacroix외 4명|arXiv (Cornell University)|2024. 08. 29.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 인간-로봇 상호작용(HRI)에서 인지된 투명도를 측정하기 위한 표준화되고 다국어적으로 검증된 심리측정 척도인 TOROS를 소개한다. 영어, 독일어, 이탈리아어로 1,223명의 참가자들을 대상으로 한 3단계 과정을 통해 개발된 TOROS는 26개의 항목과 세 가지 요인—비가독성(Illegibility), 설명 가능성(Explainability), 예측 가능성(Predictability)—을 포함하며, 높은 신뢰성, 타당성, 다국어 일관성을 입증하여 인간-로봇 상호작용 분야의 벤치마크 연구를 가능하게 한다.

ABSTRACT

As robots become increasingly integrated into our daily lives, the need to make them transparent has never been more critical. Yet, despite its importance in human-robot interaction, a standardized measure of robot transparency has been missing until now. This paper addresses this gap by presenting the first comprehensive scale to measure perceived transparency in robotic systems, available in English, German, and Italian languages. Our approach conceptualizes transparency as a multidimensional construct, encompassing explainability, legibility, predictability, and meta-understanding. The proposed scale was a product of a rigorous three-stage process involving 1,223 participants. Firstly, we generated the items of our scale, secondly, we conducted an exploratory factor analysis, and thirdly, a confirmatory factor analysis served to validate the factor structure of the newly developed TOROS scale. The final scale encompasses 26 items and comprises three factors: Illegibility, Explainability, and Predictability. TOROS demonstrates high cross-linguistic reliability, inter-factor correlation, model fit, internal consistency, and convergent validity across the three cross-national samples. This empirically validated tool enables the assessment of robot transparency and contributes to the theoretical understanding of this complex construct. By offering a standardized measure, we facilitate consistent and comparable research in human-robot interaction in which TOROS can serve as a benchmark.

연구 동기 및 목표

• 인간-로봇 상호작용(HRI)에서 인지된 투명도에 대한 표준화되고 경험적으로 검증된 측정법의 부재를 해결하기 위해.
• 설명 가능성, 가독성, 예측 가능성, 메타이해 능력 등의 핵심 요소를 포괄하는 다차원 척도를 개발하기 위해.
• 영어, 독일어, 이탈리아어에서의 척도 검증을 통해 다국어 적용성과 신뢰성을 확보하기 위해.
• 신뢰도와 사용자 경험에 미치는 영향을 평가하기 위해 향후 HRI 연구에서 투명도의 영향을 평가할 수 있는 기준 도구를 제공하기 위해.

제안 방법

• 항목 생성, 탐색적 요인 분석(EDA), 확인적 요인 분석(CFA)을 포함한 3단계 과정을 통해 TOROS 척도를 개발하였다.
• 이미지 비너릿트 및 영상 시나리오를 사용하여 독일, 이탈리아, 영어권 지역의 3개국에서 1,223명의 참가자로부터 데이터를 수집하였다.
• 내적 일관성( Cronbach’s alpha), 모델 적합도 지수(CFI, TLI, RMSEA), 측정 불변성 테스트(구조적 불변성, 척도 불변성, 잔차 불변성)와 같은 심리측정 기법을 적용하였다.
• 신뢰도 및 인지된 이해 가능성과 같은 관련 개념과의 상관관계를 통해 척도의 수렴 타당성을 검증하였다.
• 부분적인 척도 불변성 제한이 있음에도 불구하고, 언어 간 비교 가능성을 확보하기 위해 다국어 검증을 수행하였다.
• 통제된 시나리오 기반 자극을 사용하여 투명도 수준을 고립하고 조작함으로써 척도의 신뢰성 있는 校정을 달성하였다.

Figure 1: The three stages of the scale development.

실험 결과

연구 질문

• RQ1 지능형 로봇에서 인지된 투명도를 다차원적 개념으로 체계적으로 측정할 수 있는 방법은 무엇인가?
• RQ2 HRI에서 인지된 투명도의 기저 요인 구조는 무엇이며, 언어 간에 어떻게 다를 수 있는가?
• RQ3 TOROS 척도가 다양한 언어적 및 문화적 맥락에서 얼마나 신뢰성 있고 타당한가?
• RQ4 설명 가능성, 예측 가능성, 비가독성이 사용자의 전체적인 로봇 투명도 인식에 어떻게 기여하는가?
• RQ5 TOROS 척도는 향후 HRI 연구에서 투명도 관련 결과를 평가하기 위한 타당하고 신뢰할 수 있는 기준 도구로 활용될 수 있는가?

주요 결과

• TOROS 척도는 26개 항목과 세 가지 명확한 요인—비가독성, 설명 가능성, 예측 가능성—을 포함하며, 모든 언어 버전에서 높은 내적 일관성(Cronbach’s alpha > 0.80)을 보였다.
• 확정적 요인 분 析에서 높은 모델 적합도(CFI > 0.95, TLI > 0.90, RMSEA < 0.06)를 확보하여 척도의 강력한 구조적 타당성을 입증하였다.
• 언어 간에 구조적 불변성과 척도 불변성이 확보되어 다문화 비교 가능성을 뒷받침하였지만, 척도 불변성과 잔차 불변성은 부분적으로만 충족되었다.
• 신뢰도 및 인지된 이해 가능성과의 유의미한 양의 상관관계를 통해 척도의 수렴 타당성이 확인되었다.
• 후행 편향 가능성은 있었지만 예측 가능성 요인에서 체계적 상한 효과는 관찰되지 않아 척도가 인지된 투명도의 변동을 효과적으로 측정하고 있음을 시사하였다.
• 언어 간에 약간의 투명도 인식 차이가 관찰되었지만, 이는 미미했으며 전반적인 척도 성능이나 상호작용 효과에 유의미한 영향을 주지 않았다.

Figure 2: Scree plot illustrating the eigenvalues of extracted factors.