[논문 리뷰] Judgments of research co-created by generative AI: experimental evidence

Paweł Niszczota, Paul Conway|arXiv (Cornell University)|2023. 05. 03.

Artificial Intelligence in Healthcare and EducationMedicine인용 수 3

한 줄 요약

이 실험적 연구는 생성형 AI와 공동으로 연구하는 데 있어 대중의 인식을 조사하며, 대규모 언어 모델(Large Language Models, LLM)에 작업을 위탁하는 과학자들에 대해 인간 박사과정 학생에게 위탁하는 것보다 도덕적으로 더 수용하기 어려운 일로 평가하고, 더 덜 신뢰할 만하며, 낮은 품질의 작업을 생산할 가능성이 더 높다고 판단하는 것으로 나타났다. 주요 결과는 도덕적 수용성, 신뢰성, 및 인식된 품질 측면에서 AI 지원 연구에 대해 뚜렷한 부정적 편향이 존재하며, 이는 도덕적 수용성, 신뢰성, 및 품질에 대해 d = -0.78에서 d = -0.85의 효과 크기를 보여준다.

ABSTRACT

The introduction of ChatGPT has fuelled a public debate on the use of generative AI (large language models; LLMs), including its use by researchers. In the current work, we test whether delegating parts of the research process to LLMs leads people to distrust and devalue researchers and scientific output. Participants (N=402) considered a researcher who delegates elements of the research process to a PhD student or LLM, and rated (1) moral acceptability, (2) trust in the scientist to oversee future projects, and (3) the accuracy and quality of the output. People judged delegating to an LLM as less acceptable than delegating to a human (d = -0.78). Delegation to an LLM also decreased trust to oversee future research projects (d = -0.80), and people thought the results would be less accurate and of lower quality (d = -0.85). We discuss how this devaluation might transfer into the underreporting of generative AI use.

연구 동기 및 목표

• 생성형 AI에 연구 작업을 위탁하는 것이 과학자와 그들의 연구에 대해 부정적인 평가를 초래하는지 조사하기.
• 도덕적 수용성, 신뢰성, 및 인식된 품질 측면에서 AI 지원 연구와 인간 지원 연구에 대한 대중의 인식을 비교하기.
• 이러한 편향이 학술 연구에서 AI 사용의 부정확한 보고 또는 저변화로 이어질 수 있는지 조사하기.
• 학술 워크플로우에 LLM을 통합함에 따른 심리적 및 사회적 영향을 이해하기.

제안 방법

• 연구 과정의 일부를 박사과정 학생이나 대규모 언어 모델(LLM)에 위탁한 연구자들에 대한 평가를 402명의 참가자 대상으로 시행한 실험적 연구.
• 참가자들이 연구의 도덕적 수용성, 신뢰성, 및 결과의 정확성/품질을 평가하는 조건부 시나리오 기반 설계를 사용.
• 도덕적 수용성, 감독에 대한 신뢰성, 결과의 정확성 및 품질에 대한 표준화된 평가 척도를 적용.
• LLM과 인간 위탁 조건 간 평가 차이를 정량화하기 위해 코헨의 d 효과 크기를 계산.
• 내부군 및 외부군 비교를 사용하여 인식 차이를 평가하기 위해 데이터 분석 수행.

실험 결과

연구 질문

• RQ1 사람들은 생성형 AI에 연구 작업을 위탁하는 과학자들을 인간 박사과정 학생에게 위탁하는 것보다 도덕적으로 더 수용하기 어려운 것으로 평가하는가?
• RQ2 LLM에 위탁할 경우, 과학자가 향후 프로젝트를 감독할 능력에 대한 신뢰가 얼마나 감소하는가?
• RQ3 연구가 LLM과 공동으로 수행되었을 경우와 인간 연구자와 공동으로 수행되었을 경우의 정확성 및 품질에 대한 인식은 어떻게 다를까?
• RQ4 이러한 편향이 학술 연구에서 AI의 보고 및 도입에 어떤 잠재적 영향을 미칠 수 있는가?

주요 결과

• 참가자들은 LLM에 연구 작업을 위탁하는 것을 인간 박사과정 학생에게 위탁하는 것보다 도덕적으로 훨씬 덜 수용 가능하다고 평가했으며, 이는 큰 효과 크기(d = -0.78)를 보였다.
• LLM을 사용할 경우 과학자가 향후 프로젝트를 감독할 능력에 대한 신뢰가 상당히 낮아졌으며, 이는 큰 효과 크기(d = -0.80)를 보였다.
• LLM과 공동으로 연구한 결과물의 정확성과 품질에 대해 참가자들은 낮게 평가했으며, 이는 큰 효과 크기(d = -0.85)를 보였다.
• 결과는 AI 지원 연구에 대해 강력한 사회적 편향이 존재하며, 이는 학술 작업에서 AI 사용의 부정확한 보고로 이어질 수 있음을 시사한다.