[논문 리뷰] Long-form analogies generated by chatGPT lack human-like psycholinguistic properties

S. M. Seals, Valerie L. Shalin|arXiv (Cornell University)|2023. 06. 07.

Topic Modeling인용 수 5

한 줄 요약

이 연구는 코히-메트릭스에서 추출한 심리언어학적 특징을 사용하여 생화학 수업에서 챗지피티와 인간 학생이 생성한 장문의 비유를 평가한다. 유창성에도 불구하고 챗지피티의 출력은 언어적 구조, 응집성, 인지 처리 지표에서 인간이 생성한 비유와 유의미하게 다름을 발견하였으며, 이는 인간처럼 추론하고 언어를 사용하는 데에 한계가 있음을 시사한다.

ABSTRACT

Psycholinguistic analyses provide a means of evaluating large language model (LLM) output and making systematic comparisons to human-generated text. These methods can be used to characterize the psycholinguistic properties of LLM output and illustrate areas where LLMs fall short in comparison to human-generated text. In this work, we apply psycholinguistic methods to evaluate individual sentences from long-form analogies about biochemical concepts. We compare analogies generated by human subjects enrolled in introductory biochemistry courses to analogies generated by chatGPT. We perform a supervised classification analysis using 78 features extracted from Coh-metrix that analyze text cohesion, language, and readability (Graesser et. al., 2004). Results illustrate high performance for classifying student-generated and chatGPT-generated analogies. To evaluate which features contribute most to model performance, we use a hierarchical clustering approach. Results from this analysis illustrate several linguistic differences between the two sources.

연구 동기 및 목표

• 장문의 비유가 챗지피티에 의해 생성되었을 때 과학적 추론 맥락에서 인간과 유사한 심리언어학적 특성을 보이는지 평가하는 것.
• 인간 학습자가 생성한 비유와 대비하여 LLM이 생성한 비유를 구분하는 데 핵심이 되는 구체적인 언어적 및 인지적 특징을 규명하는 것.
• 심리언어학적 지표가 복잡한 추론 과제에서 인간과 AI가 생성한 텍스트 간의 미세한 차이를 탐지하는 데 얼마나 효과적인지 평가하는 것.
• 이러한 차이가 교육 평가 및 학술 환경에서 LLM의 활용에 미치는 영향을 탐색하는 것.

제안 방법

• 초기 생화학 수업의 인간 학생들과 동일한 프롬프트에 응답하여 챗지피티가 생성한 장문의 비유를 수집하였다.
• 응집성, 문장 구조 복잡성, 단어 빈도, 품사, 연결어, 참조 수단 등을 포함한 총 78개의 심리언어학적 특징을 코히-메트릭스에서 추출하였다.
• 추출된 특징을 기반으로 챗지피티 생성 비유와 인간 생성 비유를 구분하는 지도 학습 분류 모델을 적용하였다.
• 분류 성능에 가장 기여하는 특징 그룹을 특정하기 위해 계층적 군집 분석을 수행하였다.
• 그룹 간 특징 분포의 유의미성을 평가하기 위해 추론 통계(ｔ검정, 레비네 검정)를 실시하였다.
• 분산 검정을 위해 자유도가 1099인 균형 잡힌 데이터셋을 사용하였으며, 주로 발생 빈도와 분포 특성에 초점을 맞추었다.

실험 결과

연구 질문

• RQ1 챗지피티가 생성한 장문의 비유는 인간 학생이 생성한 비유와 심리언어학적 특징에서 유의미하게 다를까?
• RQ2 어떤 특정한 언어적 및 응집성 관련 특징이 챗지피티 생성 비유와 인간 생성 비유를 가장 강하게 구분하는가?
• RQ3 어휘 선택, 문장 구조, 응집성의 차이가 인간과 LLM 간의 인지 처리 방식의 근본적 차이를 반영하는가?
• RQ4 인간과 AI가 생성한 비유 간 특징 사용의 분산 패턴(예: 대명사, 연결어, 동사)은 어떻게 다를까?
• RQ5 심리언어학적 특징은 인간과 LLM이 생성한 추론 텍스트 간의 비유창성에 기반하지 않는 미세한 차이를 탐지할 수 있는가?

주요 결과

• 코히-메트릭스에서 추출한 78개의 심리언어학적 특징을 활용한 지도 학습 분류기의 성능이 매우 높게 나타났다. 이는 챗지피티 생성 비유와 인간 생성 비유를 효과적으로 구분할 수 있음을 의미한다.
• 챗지피티가 생성한 비유는 인간이 생성한 비유에 비해 명시적 연결어, 대명사, 응집 수단의 사용 빈도가 유의미하게 낮았다.
• 인간 참가자들은 의도적인 동사와 동사 응집성에서 더 높은 변동성을 보였으며, 이는 더 다양한 인지 처리 방식을 반영한다.
• 챗지피티의 출력은 더 낮은 문장 구조 복잡성과 더 높은 수동태 사용 비율을 보였으며, 이는 더 공식화된 글쓰기 스타일임을 시사한다.
• 내용 전개와 연결성 측면에서의 차이가 관찰되었으며, 대화 최적화된 챗지피티이지만 여전히 인간처럼 서사적인 출력을 하지 못했다.
• 깊은 응집성, 참조 응집성, 시간적 요소를 다루는 특징의 사용 빈도가 챗지피티 출력에서 유의미하게 낮아, 독자 지원 메커니즘이 약한 것으로 나타났다.