[논문 리뷰] Deceptive AI Systems That Give Explanations Are Just as Convincing as Honest AI Systems in Human-Machine Decision Making

Valdemar Danry, Pat Pataranutaporn외 3명|arXiv (Cornell University)|2022. 09. 23.

Misinformation and Its Impacts인용 수 4

한 줄 요약

이 연구는 위장된 AI 설명이 인간의 진실 식별 작업에서 판단에 어떤 영향을 미치는지 조사한다. 128명의 참가자를 대상으로 한 2×2 랜덤화 실험을 통해, 진실한 헤드라인을 거짓으로 잘못 주장하거나 거짓 헤드라인을 진실로 잘못 주장하는 위장된 AI 설명이, 사실적인 설명과 마찬가지로 설득력이 있음을 발견했다. 이는 AI가 인간인지 기계인지 여부와 관계없이 식별 정확도를 크게 떨어뜨린다. 결과적으로 인간-기계 결합 의사결정 시스템에서 AI가 사실과 다를 바 없는 설명을 제공할 경우 사용자를 오도할 수 있는 심각한 취약점이 드러났다.

ABSTRACT

The ability to discern between true and false information is essential to making sound decisions. However, with the recent increase in AI-based disinformation campaigns, it has become critical to understand the influence of deceptive systems on human information processing. In experiment (N=128), we investigated how susceptible people are to deceptive AI systems by examining how their ability to discern true news from fake news varies when AI systems are perceived as either human fact-checkers or AI fact-checking systems, and when explanations provided by those fact-checkers are either deceptive or honest. We find that deceitful explanations significantly reduce accuracy, indicating that people are just as likely to believe deceptive AI explanations as honest AI explanations. Although before getting assistance from an AI-system, people have significantly higher weighted discernment accuracy on false headlines than true headlines, we found that with assistance from an AI system, discernment accuracy increased significantly when given honest explanations on both true headlines and false headlines, and decreased significantly when given deceitful explanations on true headlines and false headlines. Further, we did not observe any significant differences in discernment between explanations perceived as coming from a human fact checker compared to an AI-fact checker. Similarly, we found no significant differences in trust. These findings exemplify the dangers of deceptive AI systems and the need for finding novel ways to limit their influence human information processing.

연구 동기 및 목표

• 인간-기계 의사결정 맥락에서 위장된 AI 설명이 진실과 거짓 뉴스를 식별하는 데 인간의 능력에 어떤 영향을 미치는지 조사하기 위해.
• 사용자의 진실 식별 정확도에 대해 사실적인 설명과 위장된 설명의 영향을 비교하며, AI가 인간인지 기계인지 여부와 관계없이 분석하기 위해.
• 사용자가 AI 사실 확인자에게 인간 사실 확인자만큼 신뢰를 보내는지, 그리고 제공된 설명의 진실성 여부가 이 신뢰에 영향을 미치는지 조사하기 위해.
• 설명 품질과 소스 인식(인간 대비 AI)이 사용자의 판단과 AI 생성 사실 확인에 대한 신뢰를 어떻게 형성하는지 평가하기 위해.

제안 방법

• 128명의 참가자를 대상으로 인위적 소스(인간 또는 AI 사실 확인자)와 설명 유형(사실적 또는 위장된)에 따라 배정된 2×2 요인 실험을 실시한 이원배치 실험을 수행하였다.
• GPT-3(davinci, temp=0.7)를 사용하여 14개의 헤드라인(진실 7개, 거짓 7개)을 생성하고, 각각에 대해 하나의 사실적 설명과 하나의 위장된 설명을 제공하였다. 프롬프트는 '이것은 진실/거짓이므로…'로 완성하도록 유도하였다.
• 의미 유사도를 기준으로 설명을 선별하고, 단어 반복률을 낮추며, 사실성과 논리적 일관성을 검증하여 균형 잡히고 고품질의 자극 자료를 확보하였다.
• 참가자들이 설명을 본 후 진실 식별 능력을 7점 리커트 척도로 측정하였고, 각 조건별로 가중치를 적용한 식별 정확도를 계산하였다.
• 사용자가 사실 확인 기관에 대해 보고한 신뢰 수준을 수집하여, 조건 간의 신뢰 동적 변화를 분석하였다.
• 각 조건 간의 식별 정확도와 신뢰 수준을 비교하기 위해 t-검정을 실시하여 성능 및 인식에 유의미한 차이가 있는지 검증하였다.

실험 결과

연구 질문

• RQ1 위장된 AI 설명은 사실적인 설명에 비해 사용자의 진실과 거짓 뉴스 식별 능력을 떨어뜨리는가?
• RQ2 설명의 소스 인식(인간 대비 AI 사실 확인자)이 사용자의 식별 정확도 또는 신뢰 수준에 영향을 미치는가?
• RQ3 설명의 진실성 여부와 관계없이 사용자는 AI 사실 확인자에게 인간 사실 확인자만큼 신뢰를 보내는가?
• RQ4 사용자는 사실적인 설명을 통해 진실한 뉴스와 거짓 뉴스의 식별 정확도를 높이는가? 그리고 이는 뉴스의 진실성 여부(진실 대 거짓)에 따라 달라지는가?

주요 결과

• 위장된 설명은 식별 정확도를 유의미하게 떨어뜨렸으며, 진실한 헤드라인의 평균 정확도는 41.7%로 하락했고, 거짓 헤드라인은 25.8%로 떨어졌으며, 사실적인 설명의 경우 각각 83.9%와 79.3%로 상당히 높았다.
• 사람이 사실 확인자로 보이는 설명(56.1%)과 AI가 사실 확인자로 보이는 설명(57.6%) 간의 식별 정확도에 유의미한 차이가 없었으며, p = .427.
• 사용자의 신뢰 수준은 인간 사실 확인자(M = 3.74)와 AI 사실 확인자(M = 3.72) 간에 유의미한 차이가 없었으며, p = .141로, 신뢰도가 동일하게 평가됨을 시사한다.
• 어떤 설명도 받기 전에 참가자들은 진실한 헤드라인(M = 53.1%)보다 거짓 헤드라인(M = 62.7%)을 더 정확하게 식별했으며, p = .000으로 유의미한 기저 편향(진실한 내용에 대한 회의적 태도)이 있음을 시사한다.
• 사실적인 설명을 제공한 후에는 진실한 헤드라인(p = .000)과 거짓 헤드라인(p = .000) 모두에서 식별 정확도가 유의미하게 향상되었으며, 이는 진실된 설명의 가치를 확인한다.
• 사실적 설명과 위장된 설명 간의 언어적 특성(단어 수, 감정 분석, 학년 수준, 주관성)에 유의미한 통계적 차이가 없었으며, 이는 위장된 설명이 표면적 텍스트 분석으로는 식별되지 않음을 의미한다.