[논문 리뷰] Do Large Language Models Reduce Research Novelty? Evidence from Information Systems Journals

Ali Safari|arXiv (Cornell University)|2026. 03. 23.

Artificial Intelligence in Healthcare and Education인용 수 0

한 줄 요약

이 논문은 13,847개의 정보시스템(IS) 기사(2020–2025)에서 SPECTER2 임베딩을 사용해 의미적 참신성을 측정하고 ChatGPT 출시가 참신성을 감소시켰는지 평가하며, 비영어 다수국가의 저자에서 상대적 하락을 발견했다.

ABSTRACT

Large language models such as ChatGPT have increased scholarly output, but whether this productivity boost produces genuine intellectual advancement remains untested. I address this gap by measuring the semantic novelty of 13,847 articles published between 2020 and 2025 in 44 Information Systems journals. Using SPECTER2 embeddings, I operationalize novelty as the cosine distance between each paper and its nearest prior neighbors. A difference-in-differences design with the November 2022 release of ChatGPT as the treatment break reveals a heterogeneous pattern: authors affiliated with institutions in non-English-dominant countries show a 0.18 standard deviation decline in relative novelty compared to authors in English-dominant countries (beta = -0.176, p < 0.001), equivalent to a 7-percentile-point drop in the novelty distribution. This finding is robust across alternative novelty specifications, treatment break dates, and sub-samples, and survives a placebo test at a pre-treatment break. I interpret these results through the lens of construal level theory, proposing that LLMs function as proximity tools that shift researchers from abstract, exploratory thinking toward concrete, convention-following execution. The paper contributes to the growing debate on whether LLM-driven productivity gains come at the cost of intellectual diversity.

연구 동기 및 목표

• LLM 주도 생산성이 정보 시스템 학술의 지적 참신성에 영향을 미치는지에 대한 질문을 제기한다.
• 2020–2025년 44개 저널의 IS 기사들의 의미적 참신성을 정량화한다.
• 저자 기관의 언어 맥락에 따른 참신성 효과의 이질성을 식별한다.
• 대체 명세 및 위약 검증에 대한 참신성 효과의 강건성을 테스트한다.

제안 방법

• SPECTER2 임베딩을 사용해 코사인 거리를 가장 가까운 과거 이웃과의 거리로써 참신성을 계산한다.
• 2022년 11월 ChatGPT 출시를 처리 중단점으로 삼아 차이-의-차이 설계(differences-in-differences)를 적용한다.
• 2020–2025년에 발표된 13,847개의 IS 기사를 분석해 처리 시기에 따른 참신성에 대한 인과적 영향을 추정한다.
• 대체 참신성 측정치, 처리 날짜, 하위표본에서 강건성을 검토한다.

실험 결과

연구 질문

• RQ1 2022년 11월 ChatGPT 출시가 정보시스템 연구 기사의 의미적 참신성에 영향을 미치는가?
• RQ2 참신성 효과가 영어 지배 국가의 기관 저자와 비영어 지배 국가의 기관 저자 간에 이질적인가?
• RQ3 관찰된 효과가 다른 참신성 명세 및 위약 검정에 대해 강건한가?

주요 결과

• 비영어 지배 국가의 기관에 소속된 저자의 경우 영어 지배 국가에 비해 상대적 참신성에서 0.18 표준편차 하락을 보인다.
• 효과는 참신성 분포에서 7 퍼센트포인트 감소에 해당한다.
• 결과는 대체 참신성 명세, 처리 중단 날짜, 하위샘플에 대해 강건하다.
• 사전 처리 중단에서의 위약 검정은 관찰된 효과를 생성하지 않으며, 인과 해석을 뒷받침한다.
• 구조 수준 이론으로 해석하면 LLM이 근접성 도구로 작용해 사고를 구체적 실행으로 이동시키는 것을 시사한다.