[논문 리뷰] Examining the Effect of Explanations of AI Privacy Redaction in AI-mediated Interactions

Roshni Kaushik, Maarten Sap외 1명|arXiv (Cornell University)|2026. 03. 25.

Explainable Artificial Intelligence (XAI)인용 수 0

한 줄 요약

본 논문은 AI 매개 커뮤니케이션에서 AI 프라이버시 비식의 설명이 사용자 신뢰 및 선호도에 어떤 영향을 미치는지 조사하며, 설명이 지각된 프라이버시와 신뢰를 향상시키고 맥락 및 개인 차이가 효과를 조절함을 보여준다.

ABSTRACT

AI-mediated communication is increasingly being utilized to help facilitate interactions; however, in privacy sensitive domains, an AI mediator has the additional challenge of considering how to preserve privacy. In these contexts, a mediator may redact or withhold information, raising questions about how users perceive these interventions and whether explanations of system behavior can improve trust. In this work, we investigate how explanations of redaction operations can affect user trust in AI-mediated communication. We devise a scenario where a validated system removes sensitive content from messages and generates explanations of varying detail to communicate its decisions to recipients. We then conduct a user study with $180$ participants that studies how user trust and preferences vary for cases with different amounts of redacted content and different levels of explanation detail. Our results show that participants believed our system was more effective at preserving privacy when explanations were provided ($p<0.05$, Cohen's $d \approx 0.3$). We also found that contextual factors had an impact; participants relied more on explanations and found them more helpful when the system performed extensive redactions ($p<0.05$, Cohen's $f \approx 0.2$). We also found that explanation preferences depended on individual differences as well, and factors such as age and baseline familiarity with AI affected user trust in our system. These findings highlight the importance and challenge of balancing transparency and privacy in AI-mediated communications and suggest that adaptive, context-aware explanations are essential for designing privacy-aware, trustworthy AI systems.

연구 동기 및 목표

• 고위험 커뮤니케이션에서 프라이버시 보장 AI 중재를 촉진한다.
• 삭제(적용) 양이 사용자 신뢰 및 설명 선호도에 어떤 영향을 미치는지 탐구한다.
• 설명이 통신 당사자 간의 정보 비대칭을 완화하는지 평가한다.
• 사용자 인구통계학적 특성과 AI 친숙도가 신뢰와 선호도에 어떤 영향을 미치는지 살펴본다.

제안 방법

• 연구자 메시지에서 협력자에게 보내기 전에 개인 정보를 비식화하는 AI 중재자를 설계했다.
• 두 가지 설명 스타일(일반적, 철저한)과 비설명 조건을 구현했다.
• 신뢰와 이해에 대한 맥락적 영향을 테스트하기 위해 삭제 수준을(고, 중간, 저)로 다양화했다.
• Prolific를 통해 모집된 180명의 참가자를 대상으로 between-subjects와 within-subjects 연구를 수행했다.
• 질문, 비식화, 설명 생성을 위해 LLM 기반 생성을 사용하고, 프라이버시 보존 여부를 확인하기 위해 LLM 판단자를 두었다.

실험 결과

연구 질문

• RQ1 협력자에게 설명을 제공하는 것이 시스템에 대한 그들의 신뢰와 이해를 향상시키는가?
• RQ2 제거된 민감 정보의 양(삭제 수준)이 협력자의 설명 선호도에 어떤 영향을 미치는가?
• RQ3 개인 차이(인구통계학적 특성, AI 친숙도)가 신뢰와 설명 선호도에 영향을 미치는가?

주요 결과

• 설명은 인지된 프라이버시 보존을 증가시켰다 (p<0.05, Cohen's d ≈ 0.3).
• 시스템이 광범위한 비식화를 수행했을 때 참가자들은 설명에 더 의존하고 설명을 더 도움이 된다고 평가했다 (p<0.05, Cohen's f ≈ 0.2).
• 시스템에 대한 신뢰는 AI/LLMs에 대한 기본적 친숙도와 같은 개인 특성의 영향을 받았다.
• 설명은 또한 더 높은 참여도와 더 긍정적인 자유 서술 응답과 상관관계가 있었다.
• 본 연구는 설명 상세도와 프라이버시 누설 위험 간의 트레이드오프를 확인하며, 철저한 설명은 텍스트에서 더 많은 누설 위험을 야기할 수 있지만 비식화 절차가 설명에서 이를 완화했다.