[논문 리뷰] Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task

Nataliya Kosmyna, Eugene Hauptmann외 6명|ArXiv.org|2025. 06. 10.

Artificial Intelligence in Healthcare and Education인용 수 43

한 줄 요약

연구는 LLM 보조 에세이 작성의 신경 및 행동 효과를 검색 엔진 및 두뇌 전용 조건과 비교하여, 장기 LLM 사용과 관련된 뚜렷한 뇌 연결성 패턴과 인지 비용을 밝혀낸다.

ABSTRACT

This study explores the neural and behavioral consequences of LLM-assisted essay writing. Participants were divided into three groups: LLM, Search Engine, and Brain-only (no tools). Each completed three sessions under the same condition. In a fourth session, LLM users were reassigned to Brain-only group (LLM-to-Brain), and Brain-only users were reassigned to LLM condition (Brain-to-LLM). A total of 54 participants took part in Sessions 1-3, with 18 completing session 4. We used electroencephalography (EEG) to assess cognitive load during essay writing, and analyzed essays using NLP, as well as scoring essays with the help from human teachers and an AI judge. Across groups, NERs, n-gram patterns, and topic ontology showed within-group homogeneity. EEG revealed significant differences in brain connectivity: Brain-only participants exhibited the strongest, most distributed networks; Search Engine users showed moderate engagement; and LLM users displayed the weakest connectivity. Cognitive activity scaled down in relation to external tool use. In session 4, LLM-to-Brain participants showed reduced alpha and beta connectivity, indicating under-engagement. Brain-to-LLM users exhibited higher memory recall and activation of occipito-parietal and prefrontal areas, similar to Search Engine users. Self-reported ownership of essays was the lowest in the LLM group and the highest in the Brain-only group. LLM users also struggled to accurately quote their own work. While LLMs offer immediate convenience, our findings highlight potential cognitive costs. Over four months, LLM users consistently underperformed at neural, linguistic, and behavioral levels. These results raise concerns about the long-term educational implications of LLM reliance and underscore the need for deeper inquiry into AI's role in learning.

연구 동기 및 목표

• LLM 보조 에세이 작성의 신경 및 행동적 결과를 조사한다.
• 에세이 과제에서 LLM, Search Engine, 및 Brain-only 조건을 비교한다.
• 세션 간 참가자들이 도구 조건을 전환할 때의 변화를 평가한다.
• AI 보조 쓰기의 장기적인 인지적 및 교육적 함의를 고찰한다.

제안 방법

• 세 번의 세션에 걸쳐 54명의 참가자를 LLM, Search Engine, Brain-only 그룹으로 무작위 배정한다.
• EEG를 이용해 글쓰기 과제 중 인지 부하와 연결성을 측정한다.
• Natural language processing (NLP) 를 이용해 에세이를 분석한다.
• 인간 교사와 AI 심판이 에세이를 채점한다.
• 세션 4 재배정: LLM-to-Brain와 Brain-to-LLM으로 이전 효과를 테스트한다.

실험 결과

연구 질문

• RQ1 LLM, Search Engine, Brain-only 에세이 작성 조건에서 신경 연결성과 인지 부하가 어떻게 다른가?
• RQ2 AI 보조를 사용한 에세이 작성의 행동적 및 언어적 효과는 무엇인가?
• RQ3 도구 재할당(LLM-to-Brain, Brain-to-LLM)이 시간 경과에 따른 인지 참여도와 성과에 어떤 영향을 미치는가?
• RQ4 장기적인 LLM 사용과 의존이 신경, 언어 및 행동 지표에서 측정 가능한 인지 비용을 나타내는가?

주요 결과

• Brain-only 참가자는 가장 강하고 가장 분포된 연결 네트워크를 보인다.
• Search Engine 사용자는 뇌 활동이 중간 정도이며, LLM 사용자는 가장 약한 연결성을 보인다.
• 외부 도구에 대한 의존이 커질수록 인지 활동이 줄어든다.
• 세션 4에서 LLM-to-Brain 참가자는 저활동을 나타내는 알파 및 베타 연결성이 감소한다.
• Brain-to-LLM 사용자는 검색 엔진 그룹과 유사하게 후두-두정 및 전전두 영역의 기억 회상 및 활성화가 더 높다.
• 에세이에 대한 자가 보고 응답 소유도는 LLM 그룹에서 가장 낮고 Brain-only 그룹에서 가장 높다; LLM 사용자는 자신의 작업을 정확하게 인용하는 데 어려움을 겪는다.