[论文解读] LLMs with Industrial Lens: Deciphering the Challenges and Prospects -- A Survey

Ashok Urlana, Charaka Vinayak Kumar+4 more|arXiv (Cornell University)|Feb 22, 2024

ERP Systems Implementation and Impact被引用 7

一句话总结

本调查通过访谈从业者并审阅跨八个领域的68篇行业论文，分析大型语言模型在工业中的应用，以识别采用挑战、数据集、评估方法和部署问题。它强调计算资源、隐私和开放获取等关注点，并概述未来方向。

ABSTRACT

Large language models (LLMs) have become the secret ingredient driving numerous industrial applications, showcasing their remarkable versatility across a diverse spectrum of tasks. From natural language processing and sentiment analysis to content generation and personalized recommendations, their unparalleled adaptability has facilitated widespread adoption across industries. This transformative shift driven by LLMs underscores the need to explore the underlying associated challenges and avenues for enhancement in their utilization. In this paper, our objective is to unravel and evaluate the obstacles and opportunities inherent in leveraging LLMs within an industrial context. To this end, we conduct a survey involving a group of industry practitioners, develop four research questions derived from the insights gathered, and examine 68 industry papers to address these questions and derive meaningful conclusions. We maintain the Github repository with the most recent papers in the field.

研究动机与目标

• 了解大型语言模型如何帮助工业应用以及它们被如何使用的方式。
• 识别实际中的主要工业应用、数据集和评估指标。
• 描述部署挑战，包括隐私、计算资源和监管问题。
• 提出未来工作中最大化大型语言模型在工业中的应用效用的方向。

提出的方法

• 开展两阶段研究：通过问卷进行从业者案例研究，并对68篇行业论文进行调查。
• 将论文分为八个应用领域，以绘制使用模式。
• 从从业者洞察和文献综述中推导出四个研究问题。
• 分析与行业相关的数据集、模型、评估指标及局限性。
• 综合部署挑战并提出未来方向。
• 提供工业级大型语言模型应用及评估方法的结构化分类。

实验结果

研究问题

• RQ1 RQ1. 大型语言模型如何帮助工业应用，以及以何种方式？
• RQ2 RQ2. 行业关注的主要应用是什么，包括相关的数据集和评估指标？
• RQ3 RQ3. 部署挑战有哪些，如有的话？
• RQ4 RQ4. 在工业应用中最大化大型语言模型效用的潜在方向是什么？

主要发现

• 本调查分析了68篇行业论文，并在八个广泛应用领域中概述了大型语言模型的使用。
• 工业领域对大型语言模型的采用面临关键挑战，如计算资源需求、隐私问题和开放获取。
• 一个从业者案例研究收集了来自中等规模公司的26份回应，以支撑分析。
• 少于15%的研究进行了人类评估，表明需要更严格的验证。
• 论文讨论了部署挑战（隐私、基础设施、监管）并概述了未来方向，包括多语言模型以及隐私/安全方面的考虑。
• 该研究提供了对大型语言模型在工业中的利用、数据集、评估指标及局限性的第一手工业界视角。