[논문 리뷰] Evaluating Privacy, Security, and Trust Perceptions in Conversational AI: A Systematic Review

Anna Leschanowsky, Silas Rech외 2명|arXiv (Cornell University)|2024. 06. 13.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 체계적 문헌 고찰은 대화형 AI(CAI) 시스템에서의 프라이버시, 보안, 신뢰 인식을 조사하며, 100건 이상의 연구를 분석하여 방법론적 추세, 척도 신뢰성, 개념적 중복을 규명한다. 연구 결과, 대부분의 연구가 한 가지 구성요소를 별개로 다루지만, 프라이버시, 보안, 신뢰는 공통된 하位 구성요소를 통해 깊이 연결되어 있음을 확인하였으며, 신뢰할 수 있는 CAI 시스템 설계를 향상시키기 위해 공동 측정 및 검증된 척도의 개발을 촉구한다.

ABSTRACT

Conversational AI (CAI) systems which encompass voice- and text-based assistants are on the rise and have been largely integrated into people's everyday lives. Despite their widespread adoption, users voice concerns regarding privacy, security and trust in these systems. However, the composition of these perceptions, their impact on technology adoption and usage and the relationship between privacy, security and trust perceptions in the CAI context remain open research challenges. This study contributes to the field by conducting a Systematic Literature Review and offers insights into the current state of research on privacy, security and trust perceptions in the context of CAI systems. The review covers application fields and user groups and sheds light on empirical methods and tools used for assessment. Moreover, it provides insights into the reliability and validity of privacy, security and trust scales, as well as extensively investigating the subconstructs of each item as well as additional concepts which are concurrently collected. We point out that the perceptions of trust, privacy and security overlap based on the subconstructs we identified. While the majority of studies investigate one of these concepts, only a few studies were found exploring privacy, security and trust perceptions jointly. Our research aims to inform on directions to develop and use reliable scales for users' privacy, security and trust perceptions and contribute to the development of trustworthy CAI systems.

연구 동기 및 목표

• 대화형 AI(CAI) 시스템에서의 프라이버시, 보안, 신뢰 인식에 대한 현재 연구 상태를 이해하기 위해.
• 이러한 인식을 평가하는 데 사용된 방법론적 접근, 특히 실험 도구 및 척도를 특정하기 위해.
• CAI 환경에서의 기존 프라이버시, 보안, 신뢰 인식 척도의 신뢰성 및 타당도를 평가하기 위해.
• CAI에서 프라이버시, 보안, 신뢰 간의 개념적 중복성 및 공유되는 하위구성요소를 조사하기 위해.
• 개선된 검증된 측정 프레임워크를 통해 더 신뢰할 수 있는 CAI 시스템 개발을 이끌기 위해.

제안 방법

• PRISMA 지침을 따르는 체계적 문헌 고찰(SLR)을 수행하여 CAI에서의 프라이버시, 보안, 신뢰에 관한 동료 심사 논문을 식별하였다.
• 제목, 초록, 전문 분석을 통해 1,000건 이상의 논문을 선별하여 100여 건 이상의 관련 실증 연구를 선정하였다.
• 설문조사(프라이버시/보안 분야에서 45%), 실험, 비너릿트 연구, 인터뷰, 혼합 방법 설계 등을 포함한 연구 방법을 맵핑하고 분석하였다.
• 크ون바흐의 알파 및 구성 타당성과 같은 기준을 사용하여 인식 척도의 신뢰성 및 타당도를 평가하였다.
• 프라이버시, 보안, 신뢰 인식의 기초가 되는 하위구성요소(예: 데이터 제어, 투명성, 인간다움)를 식별하고 분류하였다.
• 주제 분석을 통해 개념적 중복성과 연구들이 세 구성요소를 함께 평가하는 정도를 탐색하였다.

실험 결과

연구 질문

• RQ1 대화형 AI 시스템에서의 프라이버시, 보안, 신뢰 인식을 평가하는 데 사용되는 주요 연구 방법 및 도구는 무엇인가?
• RQ2 CAI 환경에서 프라이버시, 보안, 신뢰 인식을 측정하는 데 사용되는 기존 척도의 신뢰성과 타당도는 어느 정도인가?
• RQ3 CAI에서의 프라이버시, 보안, 신뢰에 관한 연구들은 이 구성요소들을 함께 평가하는 경우가 많고, 별개로 다루는 경우가 많나?
• RQ4 프라이버시, 보안, 신뢰 인식의 기초가 되는 하위구성요소는 무엇이며, 이들은 연구 간에 어떻게 중복되는가?
• RQ5 사용자의 프라이버시, 보안, 신뢰 인식에 영향을 주는 주요 맥락적 및 인구통계적 요인은 무엇인가?

주요 결과

• 60%의 연구가 정량적 방법을 사용하였으며, 설문조사가 가장 흔한 도구였고, 프라이버시/보안 분야에서는 45%의 연구에서 사용되었다. 그러나 신뢰 분야 연구 중 81%만이 설문조사를 사용하였다.
• 프라이버시, 보안, 신뢰 인식을 함께 조사한 연구의 비율은 매우 낮아(10% 미만), 심각한 연구 격차가 존재함을 시사한다.
• 데이터 제어, 투명성, 인간다움, 인식된 의도와 같은 하위구성요소가 프라이버시, 보안, 신뢰 구성요소 간에 자주 공유됨을 확인하였다.
• 프라이버시 및 신뢰 척도의 경우, 60%의 경우에서 크론바흐의 알파 ≥ 0.7 수준의 중간 이상의 신뢰성 보였지만, 많은 척도가 CAI 환경에서 검증되지 않은 비-CAI 맥락에서 유도된 것으로 확인되었다.
• 가장 자주 인용된 신뢰 척도로는 Mayer 등(1995)과 Lankton 등(2015)의 연구가 있었고, 프라이버시 척도는 주로 개인정보 인식 척도(PPS) 및 유사 도구에서 유래되었다.
• CAI 신뢰와 관련하여 심리적 및 행동적 요인, 예를 들어 인지된 조건부성, 기술 낙관주의, 사회적 공개 성향을 측정하는 데 뚜렷한 격차가 존재한다.