[論文レビュー] Evaluating Privacy, Security, and Trust Perceptions in Conversational AI: A Systematic Review

Anna Leschanowsky, Silas Rech+2 more|arXiv (Cornell University)|Jun 13, 2024

Ethics and Social Impacts of AI被引用数 4

ひとこと要約

本稿は、会話型AI（CAI）システムにおけるプライバシー、セキュリティ、信頼の認識に関する体系的文献レビューであり、100件を超える研究を分析して、メソドロジカルな傾向、尺度の信頼性、概念的重複を特定した。研究では、プライバシー、セキュリティ、信頼が共有されるサブコンストラクトを通じて密接に結びついていることが明らかになったが、多くの研究がこれらの構成概念を個別に検討していることから、信頼できるCAIシステムの設計を改善するためには、共同で測定され、妥当性が検証された尺度の開発が求められる。

ABSTRACT

Conversational AI (CAI) systems which encompass voice- and text-based assistants are on the rise and have been largely integrated into people's everyday lives. Despite their widespread adoption, users voice concerns regarding privacy, security and trust in these systems. However, the composition of these perceptions, their impact on technology adoption and usage and the relationship between privacy, security and trust perceptions in the CAI context remain open research challenges. This study contributes to the field by conducting a Systematic Literature Review and offers insights into the current state of research on privacy, security and trust perceptions in the context of CAI systems. The review covers application fields and user groups and sheds light on empirical methods and tools used for assessment. Moreover, it provides insights into the reliability and validity of privacy, security and trust scales, as well as extensively investigating the subconstructs of each item as well as additional concepts which are concurrently collected. We point out that the perceptions of trust, privacy and security overlap based on the subconstructs we identified. While the majority of studies investigate one of these concepts, only a few studies were found exploring privacy, security and trust perceptions jointly. Our research aims to inform on directions to develop and use reliable scales for users' privacy, security and trust perceptions and contribute to the development of trustworthy CAI systems.

研究の動機と目的

• 会話型AI（CAI）システムにおけるプライバシー、セキュリティ、信頼の認識に関する研究の現状を理解すること。
• これらの認識を評価するために用いられている、実証的ツールや尺度を含むメソドロジー的アプローチを同定すること。
• CAI文脈における既存のプライバシー、セキュリティ、信頼認識尺度の信頼性と妥当性を評価すること。
• CAIにおけるプライバシー、セキュリティ、信頼の間で共有される概念的重複とサブコンストラクトを調査すること。
• より信頼できるCAIシステムの開発を支援するため、改善された妥当性が保証された測定フレームワークを提示すること。

提案手法

• PRISMA指針に従って体系的文献レビュー（SLR）を実施し、CAIにおけるプライバシー、セキュリティ、信頼に関する査読付き研究を同定した。
• 1,000件を超える研究をタイトル、要約、本文の分析を通じてスクリーニングし、100件以上の関連する実証的研究を選定した。
• アンケート（プライバシー／セキュリティで45％）、実験、ビニケット研究、インタビュー、ミックスメソッド設計を含む、研究手法をマッピングおよび分析した。
• Cronbach’s alphaや構成妥命性などの基準を用いて、認識尺度の信頼性と妥当性を評価した。
• データコントロール、透明性、人間らしさなど、プライバシー、セキュリティ、信頼の認識を裏付けるサブコンストラクトを特定・分類した。
• 主題分析を用いて、概念的重複と、研究が3つの構成概念を同時に評価する程度を検討した。

実験結果

リサーチクエスチョン

• RQ1 会話型AIシステムにおけるプライバシー、セキュリティ、信頼の認識を評価するために、主にどのような研究手法とツールが用いられているか？
• RQ2 CAI文脈におけるプライバシー、セキュリティ、信頼認識を測定する既存の尺度は、どの程度信頼性と妥当性を有しているか？
• RQ3 CAIにおけるプライバシー、セキュリティ、信頼に関する研究は、どれくらいの頻度でこれらの構成概念を同時に検討しているか、それとも個別に検討しているか？
• RQ4 プライバシー、セキュリティ、信頼の認識を裏付けるサブコンストラクトは何か、そしてそれらは研究間でどの程度重複しているか？
• RQ5 ユーザーのCAIにおけるプライバシー、セキュリティ、信頼の認識に影響を与える主な文脈的および人口統計的要因は何か？

主な発見

• 60％の研究が定量的手法を用いており、アンケートが最も一般的であった（プライバシー／セキュリティで45％）。一方、信頼に関する研究の81％がアンケートを用いていた。
• プライバシー、セキュリティ、信頼の認識を同時に調査した研究はわずか10％未満であり、顕著な研究ギャップが存在することが示された。
• データコントロール、透明性、人間らしさ、および認識された意図といったサブコンストラクトは、プライバシー、セキュリティ、信頼の構成概念の間で頻繁に共有されていた。
• プライバシーおよび信頼の尺度は、60％の事例で中程度から高い信頼性（Cronbach’s alpha ≥ 0.7）を示したが、多くの尺度はCAI文脈での妥当性検証なしに非CAI文脈のものから改変されたものであった。
• 最も頻繁に引用された信頼尺度はMayerら（1995）およびLanktonら（2015）のものであり、プライバシー尺度は一般的にPrivacy Perception Scale（PPS）や類似する道具を基盤としていた。
• CAIにおける信頼に関連して、認識された条件的依存性、技術的楽観主義、社会的開示といった心理的および行動的要因を測定するギャップが顕著に存在した。