[論文レビュー] Measuring Transparency in Intelligent Robots

Georgios Angelopoulos, Dimitri Lacroix+4 more|arXiv (Cornell University)|Aug 29, 2024

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本論文は、知能ロボットの認識された透過性を測定する最初の標準化され、多言語にわたって検証された心理尺度TOROSを紹介する。1,223名の参加者を対象に英語、ドイツ語、イタリア語の3言語で実施された3段階のプロセスを経て開発されたTOROSは、26の項目と3つの要因（不明瞭性、説明可能性、予測可能性）から構成され、高い信頼性、妥当性、多言語的一致性を示しており、人間-ロボットインタラクション分野におけるベンチマーク研究を可能にする。

ABSTRACT

As robots become increasingly integrated into our daily lives, the need to make them transparent has never been more critical. Yet, despite its importance in human-robot interaction, a standardized measure of robot transparency has been missing until now. This paper addresses this gap by presenting the first comprehensive scale to measure perceived transparency in robotic systems, available in English, German, and Italian languages. Our approach conceptualizes transparency as a multidimensional construct, encompassing explainability, legibility, predictability, and meta-understanding. The proposed scale was a product of a rigorous three-stage process involving 1,223 participants. Firstly, we generated the items of our scale, secondly, we conducted an exploratory factor analysis, and thirdly, a confirmatory factor analysis served to validate the factor structure of the newly developed TOROS scale. The final scale encompasses 26 items and comprises three factors: Illegibility, Explainability, and Predictability. TOROS demonstrates high cross-linguistic reliability, inter-factor correlation, model fit, internal consistency, and convergent validity across the three cross-national samples. This empirically validated tool enables the assessment of robot transparency and contributes to the theoretical understanding of this complex construct. By offering a standardized measure, we facilitate consistent and comparable research in human-robot interaction in which TOROS can serve as a benchmark.

研究の動機と目的

• 人間-ロボットインタラクション（HRI）における認識された透過性を測定する標準化され、経験的検証がなされた尺度の欠如に対処すること。
• 説明可能性、可読性、予測可能性、メタ理解といった、ロボット透過性の主要な側面を捉える多次元的尺度を開発すること。
• 英語、ドイツ語、イタリア語での尺度の検証を通じて、多言語的適用可能性と信頼性を確保すること。
• 将来的なHRI研究において、透過性が信頼、パフォーマンス、ユーザーエクスペリエンスに与える影響を評価するためのベンチマークツールを提供すること。

提案手法

• 項目生成、探索的要因分析（EFA）、確認的要因分析（CFA）の3段階プロセスを経てTOROS尺度を開発した。
• ドイツ、イタリア、英語圏の3カ国で1,223名の参加者からデータを収集し、画像ビンエットおよび動画シナリオを用いた。
• 内部的一致性（Cronbach’s alpha）、モデル適合度指標（CFI、TLI、RMSEA）、測定不変性テスト（構造的不変性、計測的不変性、スカラ不変性、残差不変性）といった心理的尺度技術を用いた。
• 信頼性と類縁構成概念（信頼、認識された理解可能性など）との相関関係を用いて、収束妥当性を検証した。
• 部分的スカラ不変性の制限を考慮しつつも、多言語的検証を実施し、言語間での比較可能性を確保した。
• 制御された、シナリオベースの刺激を用いて、透過性のレベルを隔離・操作し、尺度の信頼性あるキャリブレーションを実現した。

Figure 1: The three stages of the scale development.

実験結果

リサーチクエスチョン

• RQ1 知能ロボットにおける認識された透過性を、多次元的構造として体系的に測定する方法は何か？
• RQ2 HRIにおける認識された透過性の背後にある要因構造は何か。また、言語によってその構造はどのように変化するか？
• RQ3 TOROS尺度は、異なる言語的・文化的文脈において、どの程度信頼性と妥当性を有しているか？
• RQ4 説明可能性、予測可能性、不明瞭性は、ユーザーがロボットの透過性を全体的にどのように認識するかに、どのように寄与しているか？
• RQ5 TOROS尺度は、将来的なHRI研究において、透過性関連の成果を評価する有効で信頼できるベンチマークとして機能できるか？

主な発見

• TOROS尺度は26の項目と3つの明確な要因（不明瞭性、説明可能性、予測可能性）から構成され、全言語バージョンで高い内部的一致性（Cronbach’s alpha > 0.80）を示した。
• 確認的要因分析において、高いモデル適合度（CFI > 0.95、TLI > 0.90、RMSEA < 0.06）を達成し、構造的妥当性の強固さが裏付けられた。
• 言語間で構造的不変性および計測的不変性が達成され、文化的比較可能性が支持されたが、スカラ不変性および残差不変性は部分的にしか満たされなかった。
• 信頼性と類縁構成概念との間で有意な正の相関が確認され、構成妥当性が裏付けられた。
• 後向きバイアスの可能性はあったが、予測可能性要因に床効果は観察されず、認識された透過性のばらつきを効果的に捉えていることが示された。
• 言語間でわずかな差異が認められたが、これらは小さく、全体的な尺度のパフォーマンスや相互作用効果に顕著な影響を及ぼさなかった。

Figure 2: Scree plot illustrating the eigenvalues of extracted factors.