[논문 리뷰] Labeling Messages as AI-Generated Does Not Reduce Their Persuasive Effects

Isabel O. Gallegos, Chen Shani외 5명|ArXiv.org|2025. 04. 14.

Psychology of Moral and Emotional Judgment인용 수 3

한 줄 요약

연구에 따르면 AI로 생성된 메시지를 AI, 인간, 또는 라벨 없음으로 표기하는 것이 네 가지 정책 분야에 걸친 설득력에 유의미한 영향을 미치지 않는다.

ABSTRACT

As generative artificial intelligence (AI) enables the creation and dissemination of information at massive scale and speed, it is increasingly important to understand how people perceive AI-generated content. One prominent policy proposal requires explicitly labeling AI-generated content to increase transparency and encourage critical thinking about the information, but prior research has not yet tested the effects of such labels. To address this gap, we conducted a survey experiment (N=1601) on a diverse sample of Americans, presenting participants with an AI-generated message about several public policies (e.g., allowing colleges to pay student-athletes), randomly assigning whether participants were told the message was generated by (a) an expert AI model, (b) a human policy expert, or (c) no label. We found that messages were generally persuasive, influencing participants' views of the policies by 9.74 percentage points on average. However, while 94.6% of participants assigned to the AI and human label conditions believed the authorship labels, labels had no significant effects on participants' attitude change toward the policies, judgments of message accuracy, nor intentions to share the message with others. These patterns were robust across a variety of participant characteristics, including prior knowledge of the policy, prior experience with AI, political party, education level, or age. Taken together, these results imply that, while authorship labels would likely enhance transparency, they are unlikely to substantially affect the persuasiveness of the labeled content, highlighting the need for alternative strategies to address challenges posed by AI-generated information.

연구 동기 및 목표

• AI 저작 라벨이 AI가 생성한 정책 메시지의 설득력에 영향을 미치는지 평가한다.
• 네 가지 라벨 조건(AI 생성, 인간 작성, 그리고 라벨 없음)을 여러 정책 주제에 걸쳐 테스트한다.
• 노출 전후의 라벨링된 메시지에 대한 정책 지지 변화와 관련 인식을 측정한다.
• 사전 지식, AI 경험, 인구통계학적 특성과 같은 참가자 특성에 따라 강건성을 평가한다.

제안 방법

• 다양한 미국 샘플에서 N=1,601 참가자를 대상으로 사전 등록된 설문 실험.
• 네 가지 정책 제안에 대해 AI 라벨, 인간 라벨, 또는 무라벨 조건에 무작위 배정.
• GPT-4o로 생성된 메시지를 사실 정확성을 위해 증거 기반 설득 기법으로 편집.
• 결과 측정은 정책 지지 변화(주요), 신뢰, 지지의 정확성 판단, 공유 의도 등을 0–100 척도에서 포함.
• 라벨링 조건을 비교하기 위해 정책 및 사전 개입 지지로 통제된 회귀 분석을 수행.

실험 결과

연구 질문

• RQ1 AI로 생성된 콘텐츠를 AI, 인간, 또는 무 라벨로 표기하는 것이 정책 태도에 대한 설득력에 영향을 미치는가?
• RQ2 라벨 조건 간에 메시지의 정확성 인식, 지지에 대한 신뢰, 공유 의도에 차이가 있는가?
• RQ3 참가자의 특성(사전 지식, AI 경험, 정치적 정체성, 교육, 연령)이 라벨링 효과를 조정하는가?
• RQ4 다수 정책 도메인에 걸쳐 라벨링 효과의 견고한 일관성이 있는가?

주요 결과

• 메시지는 전반적으로 설득력이 있어 정책 지지를 평균 9.74포인트 증가시켰다.
• AI 라벨이 붙은 참가자 중 94.6%, 인간 라벨이 붙은 참가자 중 89.3%가 할당된 저작권 라벨을 믿었다.
• AI 라벨, 인간 라벨, 무 라벨 조건 간에 설득력에 유의미한 차이가 없었다.
• 지지에 대한 확신, 메시지 정확성 판단 또는 공유 의도에서 라벨링 조건 간 차이가 유의하게 나타나지 않았다.