[논문 리뷰] A Neural Topic Method Using a Large-Language-Model-in-the-Loop for Business Research

Stephan Ludwig, Peter J. Danaher외 1명|arXiv (Cornell University)|2026. 03. 04.

Computational and Text Analysis Methods인용 수 0

한 줄 요약

LX Topic은 대형 언어 모델(LLM) 루프를 활용하여 보정된 문서 수준 토픽 비율을 생성하는 신경 토픽 방법으로, 토픽 품질을 향상시키면서 클러스터링/분류 성능을 유지합니다.

ABSTRACT

The growing use of unstructured text in business research makes topic modeling a central tool for constructing explanatory variables from reviews, social media, and open-ended survey responses, yet existing approaches function poorly as measurement instruments. Prior work shows that textual content predicts outcomes such as sales, satisfaction, and firm performance, but probabilistic models often generate conceptually diffuse topics, neural topic models are difficult to interpret in theory-driven settings, and large language model approaches lack standardization, stability, and alignment with document-level representations. We introduce LX Topic, a neural topic method that conceptualizes topics as latent linguistic constructs and produces calibrated document-level topic proportions for empirical analysis. LX Topic builds on FASTopic to ensure strong document representativeness and integrates large language model refinement at the topic-word level using alignment and confidence-weighting mechanisms that enhance semantic coherence without distorting document-topic distributions. Evaluations on large-scale Amazon and Yelp review datasets demonstrate that LX Topic achieves the highest overall topic quality relative to leading models while preserving clustering and classification performance. By unifying topic discovery, refinement, and standardized output in a web-based system, LX Topic establishes topic modeling as a reproducible, interpretable, and measurement-oriented instrument for marketing research and practice.

연구 동기 및 목표

• 비즈니스 텍스트 중 리뷰 및 자유 응답 설문 등과 같은 비구조적 텍스트를 측정 도구로서 토픽 모델링을 활용하도록 동기화합니다.
• LX Topic을 개발하여 경험적 분석에 적합한 보정된 문서 수준 토픽 비율을 생성합니다.
• 토픽-단어 수준에서의 LLM 보정을 내재화하고 정렬(alignment) 및 신뢰 가중(weighting)과의 결합으로 의미 일관성을 향상시키되 문서-토픽 분포를 왜곡하지 않습니다.
• 마케팅 연구의 재현성 및 해석 가능성을 높이기 위해 웹 기반 시스템에서 토픽 발견, 보정, 표준화된 출력을 통합합니다.

제안 방법

• 강한 문서 대표성을 보장하기 위해 FASTopic에 기반합니다.
• 토픽-단어 수준에서의 대형 언어 모델 보정을 도입합니다.
• 의미 일관성을 개선하기 위해 정렬(alignment) 및 신뢰 가중(weighting) 메커니즘을 구현합니다.
• LLM 기반 보정이 문서-토픽 분포의 완전성을 해치지 않도록 보존합니다.
• 재현 가능한 토픽 모델링을 위한 표준화된 출력을 제공하는 웹 기반 시스템을 제공합니다.

실험 결과

연구 질문

• RQ1 RQ1: LX Topic이 대규모 리뷰 데이터셋(Amazon, Yelp)에서 선도 모델과 비교해 더 높은 전반적 토픽 품질을 달성합니까?
• RQ2 RQ2: LX Topic이 토픽을 보정하는 동안 클러스터링 및 분류 성능을 보존합니까?
• RQ3 RQ3: 정렬(alignment) 및 신뢰 가중 메커니즘이 토픽 일관성과 안정성에 어떤 영향을 줍니까?
• RQ4 RQ4: LX Topic이 마케팅 연구 및 실무를 위한 재현 가능하고 해석 가능하며 측정 지향적 도구로 기능할 수 있습니까?

주요 결과

• LX Topic은 대규모 Amazon 및 Yelp 리뷰 데이터셋에서 선도 모델에 비해 전반적 토픽 품질이 가장 높습니다.
• LX Topic은 토픽을 보정하는 동안 클러스터링 및 분류 성능을 보존합니다.
• 정렬 및 신뢰 가중 메커니즘은 문서-토픽 분포를 왜곡시키지 않으면서 의미 일관성을 향상시킵니다.
• 이 방법은 마케팅 연구의 재현성과 해석을 지원하기 위해 토픽 발견, 보정 및 표준화된 출력을 웹 기반 시스템에서 통합합니다.