[论文解读] Do Large Language Models Reduce Research Novelty? Evidence from Information Systems Journals

Ali Safari|arXiv (Cornell University)|Mar 23, 2026

Artificial Intelligence in Healthcare and Education被引用 0

一句话总结

该论文利用 SPECTER2 嵌入来评估 2020–2025 年 13,847 篇信息系统（IS）文章的语义新颖性，以判断 ChatGPT 发布是否降低了新颖性，结果显示非英语主导国家作者的新颖性相对下降。

ABSTRACT

Large language models such as ChatGPT have increased scholarly output, but whether this productivity boost produces genuine intellectual advancement remains untested. I address this gap by measuring the semantic novelty of 13,847 articles published between 2020 and 2025 in 44 Information Systems journals. Using SPECTER2 embeddings, I operationalize novelty as the cosine distance between each paper and its nearest prior neighbors. A difference-in-differences design with the November 2022 release of ChatGPT as the treatment break reveals a heterogeneous pattern: authors affiliated with institutions in non-English-dominant countries show a 0.18 standard deviation decline in relative novelty compared to authors in English-dominant countries (beta = -0.176, p < 0.001), equivalent to a 7-percentile-point drop in the novelty distribution. This finding is robust across alternative novelty specifications, treatment break dates, and sub-samples, and survives a placebo test at a pre-treatment break. I interpret these results through the lens of construal level theory, proposing that LLMs function as proximity tools that shift researchers from abstract, exploratory thinking toward concrete, convention-following execution. The paper contributes to the growing debate on whether LLM-driven productivity gains come at the cost of intellectual diversity.

研究动机与目标

• 推动问题：LLM 驱动的生产力是否影响信息系统学术研究的知识新颖性。
• 量化 2020–2025 年 44 本期刊的 IS 文章的语义新颖性。
• 识别作者所在机构语言环境对新颖性影响的异质性。
• 在替代规格和安慰剂检验下检验新颖性效应的稳健性。

提出的方法

• 使用 SPECTER2 嵌入将新颖性定义为到最近前邻的余弦距离。
• 应用以 2022 年 11 月 ChatGPT 发布为处理中断的差异中的差异设计。
• 分析 2020–2025 年发表的 13,847 篇 IS 文章，估计处理时点对新颖性的因果影响。
• 在替代的新颖性度量、处理日期和子样本上检验稳健性。

实验结果

研究问题

• RQ1 ChatGPT 于 2022 年 11 月的发布是否影响信息系统研究文章的语义新颖性？
• RQ2 新颖性效应在英语主导与非英语主导国家机构作者之间是否存在异质性？
• RQ3 观察到的效应是否对不同的新颖性规格和安慰剂测试稳健？

主要发现

• 与英语主导国家相比，非英语主导国家机构作者的相对新颖性下降了 0.18 个标准差。
• 该效应相当于新颖性分布的下降 7 个百分点。
• 结果对替代的新颖性规格、处理中断日期和子样本具有稳健性。
• 在处理前中断的安慰剂检验未产生所观察到的效应，支持因果解释。
• 通过构念层级理论解读，LLMs 充当接近工具，将思维向具体执行转向。