[论文解读] A Neural Topic Method Using a Large-Language-Model-in-the-Loop for Business Research

Stephan Ludwig, Peter J. Danaher+1 more|arXiv (Cornell University)|Mar 4, 2026

Computational and Text Analysis Methods被引用 0

一句话总结

LX Topic 是一种神经话题方法，利用大型语言模型参与以生成经校准的文档级话题比例，从而在保持聚类/分类性能的同时提高话题质量。

ABSTRACT

The growing use of unstructured text in business research makes topic modeling a central tool for constructing explanatory variables from reviews, social media, and open-ended survey responses, yet existing approaches function poorly as measurement instruments. Prior work shows that textual content predicts outcomes such as sales, satisfaction, and firm performance, but probabilistic models often generate conceptually diffuse topics, neural topic models are difficult to interpret in theory-driven settings, and large language model approaches lack standardization, stability, and alignment with document-level representations. We introduce LX Topic, a neural topic method that conceptualizes topics as latent linguistic constructs and produces calibrated document-level topic proportions for empirical analysis. LX Topic builds on FASTopic to ensure strong document representativeness and integrates large language model refinement at the topic-word level using alignment and confidence-weighting mechanisms that enhance semantic coherence without distorting document-topic distributions. Evaluations on large-scale Amazon and Yelp review datasets demonstrate that LX Topic achieves the highest overall topic quality relative to leading models while preserving clustering and classification performance. By unifying topic discovery, refinement, and standardized output in a web-based system, LX Topic establishes topic modeling as a reproducible, interpretable, and measurement-oriented instrument for marketing research and practice.

研究动机与目标

• 将话题建模作为对非结构化商业文本（如评论和开放式调查）的一种测量工具来进行动机阐述。
• 开发 LX Topic 以产生适用于实证分析的经校准的文档级话题比例。
• 在话题-词层面整合LLM refinement，结合对齐与置信度加权，以在不扭曲文档-话题分布的前提下提升语义连贯性。
• 在基于网页的系统中统一话题发现、 refinement 和标准化输出，以促进市场研究的可重复性与可解释性。

提出的方法

• 基于 FASTopic 以确保强文档代表性。
• 在话题-词层引入大型语言模型 refinement。
• 实现对齐与置信度加权机制以提高语义连贯性。
• 在不破坏文档-话题分布完整性的前提下 enabling LLM-driven refinement。
• 提供具有标准化输出的基于网页的系统，以实现可重复的话题建模。

实验结果

研究问题

• RQ1 RQ1: 与领先的话题模型在大规模评论数据集（Amazon、Yelp）上相比，LX Topic 是否实现更高的总体话题质量？
• RQ2 RQ2: 在 refinement 话题的同时，LX Topic 是否保持聚类与分类性能？
• RQ3 RQ3: 对齐与置信度加权机制如何影响话题连贯性和稳定性？
• RQ4 RQ4: LX Topic 能否作为一个可重复、可解释、以测量为导向的市场研究与实践工具？

主要发现

• 相对于领先模型，LX Topic 在大规模的 Amazon 和 Yelp 评论数据集上实现了最高的总体话题质量。
• LX Topic 在 refinement 话题的同时保持了聚类和分类性能。
• 对齐和置信度加权机制在不扭曲文档-话题分布的前提下提升了语义连贯性。
• 该方法在基于网页的系统中统一了话题发现、 refinement 和标准化输出，以支持市场研究的可重复性和解释性。