[논문 리뷰] Human heuristics for AI-generated language are flawed

Maurice Jakesch, Jeffrey T. Hancock외 1명|arXiv (Cornell University)|2022. 06. 15.

Ethics and Social Impacts of AISocial Sciences인용 수 18

한 줄 요약

이 연구는 인간이 전문적, 환대 및 연인 관계 맥락에서 AI가 생성한 자기 표현을 일관되게 탐지하지 못함을 입증한다. 이는 첫사람 관격, 약어, 가족 관련 언급과 같은 오류가 있는 히وري스틱에 의존함에도 불구하고, AI 텍스트가 '사람보다 더 인간다운' 것으로 인식되게 한다. 연구 결과는 이러한 직관적 신호가 예측 가능하고 조작 가능하다는 점을 드러내며, 인간이 합성 언어를 구별하는 능력을 약화시킨다.

ABSTRACT

Human communication is increasingly intermixed with language generated by AI. Across chat, email, and social media, AI systems suggest words, complete sentences, or produce entire conversations. AI-generated language is often not identified as such but presented as language written by humans, raising concerns about novel forms of deception and manipulation. Here, we study how humans discern whether verbal self-presentations, one of the most personal and consequential forms of language, were generated by AI. In six experiments, participants (N = 4,600) were unable to detect self-presentations generated by state-of-the-art AI language models in professional, hospitality, and dating contexts. A computational analysis of language features shows that human judgments of AI-generated language are hindered by intuitive but flawed heuristics such as associating first-person pronouns, use of contractions, or family topics with human-written language. We experimentally demonstrate that these heuristics make human judgment of AI-generated language predictable and manipulable, allowing AI systems to produce text perceived as "more human than human." We discuss solutions, such as AI accents, to reduce the deceptive potential of language generated by AI, limiting the subversion of human intuition.

연구 동기 및 목표

• 사람들이 자연어 맥락에서 AI가 생성한 자기 표현을 신뢰성 있게 탐지할 수 있는지 조사하는 것.
• 사람들이 언어가 인간이 쓴 것인지 AI가 쓴 것인지 판단할 때 사용하는 직관적 히وري스틱을 특정하는 것.
• 이러한 히وري스틱이 AI 생성 텍스트에 대한 인간의 판단에서 체계적인 오류로 이어지는 정도를 분석하는 것.
• AI 시스템이 이러한 히وري스틱을 악용해 실제 인간의 글보다 더 인간다운 것으로 인식되는 텍스트를 생성할 수 있는지 평가하는 것.
• AI 텍스트의 오도 위험을 줄이기 위한 솔루션으로 'AI 악센트'를 제안하는 것.

제안 방법

• 전문적, 환대 및 연인 관계 자기 표현 맥락에서 다양하게 분포된 4,600명의 참가자를 대상으로 한 6개의 통제 실험을 실시함.
• 최첨단 언어 모델을 사용해 인간의 스타일과 내용을 모방한 AI가 생성한 자기 표현 텍스트를 생성함.
• 언어적 특성의 계산적 분석을 통해 '인간다움'과 연관된 패턴을 식별함.
• 사람의 탐지 정확도를 측정하고, 특정 히وري스틱(예: 관격, 약어, 가족 주제)에 대한 의존도를 분리 분석함.
• 통계 모델링을 통해 히وري스틱 기반 판단이 예측 가능하고 AI에 의해 조작 가능한지 테스트함.
• 의도적인 스타일적 표시인 'AI 악센트' 개념을 제안하고 평가함.

실험 결과

연구 질문

• RQ1 사람들은 실제 의사소통 맥락에서 AI가 생성한 자기 표현을 신뢰성 있게 탐지할 수 있는가?
• RQ2 사람들은 언어가 인간이 쓴 것인지 AI가 쓴 것인지 판단할 때 어떤 직관적 히وري스틱을 사용하는가?
• RQ3 이러한 히وري스틱이 얼마나 오류가 있으며, AI가 이를 체계적으로 악용해 '사람보다 더 인간다운' 것으로 인식되는 텍스트를 생성할 수 있는가?
• RQ4 첫사람 관격, 약어, 가족 관련 언급과 같은 언어적 특성이 인간의 진정성 인식에 어떻게 영향을 미치는가?
• RQ5 'AI 악센트'는 합성 텍스트를 더 쉽게 식별 가능하게 만들어, AI 생성 언어의 오도 가능성을 줄일 수 있는가?

주요 결과

• 참가자들은 모든 맥락에서 우연의 정도를 크게 초월해 AI가 생성한 자기 표현을 탐지하지 못했으며, 탐지 정확도는 평균 50% 미만이었다.
• 사람들은 첫사람 관격(예: 'I', 'me'), 약어(예: 'don’t', 'I’m'), 가족에 대한 언급을 인간이 쓴 언어와 항상 연관지웠지만, 이러한 특성이 AI 출력에서 흔히 나타남에도 불구하고 말이다.
• 이러한 히وري스틱은 예측 가능하고 악용 가능했으며, AI 시스템이 실제 인간의 글보다 '인간다움' 지표에서 더 높은 점수를 받는 텍스트를 생성할 수 있었다.
• 이 연구는 인간의 인지적 편향을 악용해 AI가 생성한 텍스트가 '사람보다 더 인간다운' 것으로 인식될 수 있음을 입증했다.
• 계산적 분석을 통해 '인간다움'과 가장 밀접하게 연관된 언어적 특성들이 AI에 의해 가장 쉽게 조작 가능하다는 점이 확인되었다.
• 연구 결과는 'AI 악센트'와 같은 투명성 메커니즘의 필요성을 뒷받침하며, 오도 가능한 언어 생성을 억제하는 데 기여할 수 있다.