[论文解读] Large Language Models for Forecasting and Anomaly Detection: A Systematic Literature Review

Jing Su, Chufeng Jiang+8 more|arXiv (Cornell University)|Feb 15, 2024

Topic Modeling被引用 72

一句话总结

这篇论文对使用大型语言模型（LLMs）进行预测与异常检测的系统综述，概述现状、挑战和未来方向。

ABSTRACT

This systematic literature review comprehensively examines the application of Large Language Models (LLMs) in forecasting and anomaly detection, highlighting the current state of research, inherent challenges, and prospective future directions. LLMs have demonstrated significant potential in parsing and analyzing extensive datasets to identify patterns, predict future events, and detect anomalous behavior across various domains. However, this review identifies several critical challenges that impede their broader adoption and effectiveness, including the reliance on vast historical datasets, issues with generalizability across different contexts, the phenomenon of model hallucinations, limitations within the models' knowledge boundaries, and the substantial computational resources required. Through detailed analysis, this review discusses potential solutions and strategies to overcome these obstacles, such as integrating multimodal data, advancements in learning methodologies, and emphasizing model explainability and computational efficiency. Moreover, this review outlines critical trends that are likely to shape the evolution of LLMs in these fields, including the push toward real-time processing, the importance of sustainable modeling practices, and the value of interdisciplinary collaboration. Conclusively, this review underscores the transformative impact LLMs could have on forecasting and anomaly detection while emphasizing the need for continuous innovation, ethical considerations, and practical solutions to realize their full potential.

研究动机与目标

• 调查跨领域中 LLMs 在预测和异常检测中的当前应用。
• 识别基于 LLM 的预测与异常任务中的方法学趋势与评估实践。
• 突出在这些领域部署 LLMs 的局限性、挑战及潜在解决方案。
• 为在预测与异常检测中有效使用 LLMs 提供指南。
• 概述该领域未来的研究方向与伦理考虑。

提出的方法

• 采用 Kitchenham 的系统性文献综述（SLR）方法，以确保严格性和透明性。
• 界定研究问题，以对目标任务中 LLM 的方法、有效性和局限性进行分类。
• 进行多数据库和多来源的检索，包括 OpenReview，以捕捉最新工作。
• 应用明确的纳入与排除标准，选择自 2020 年起的同行评议英文研究。
• 将发现综合成关于最前沿方法、数据集、评估指标和应用的有序概览。

实验结果

研究问题

• RQ1 RQ1 在不同领域中用于预测的 LLM 方法有哪些？
• RQ2 RQ2 与传统异常检测方法相比，LLMs 在检测异常方面有多高的有效性？
• RQ3 RQ3 在预测和异常检测中使用 LLMs 的局限性和挑战是什么？

主要发现

• 这是首个专门针对在预测与异常检测中使用 LLMs 的全面系统综述。
• 该综述提出在这些任务中有效使用 LLMs 的实际指南。
• 它提供了关于 LLMs 如何处理结构化与非结构化数据以进行预测和异常检测的理论见解。
• 研究讨论了数据集、预处理技术、评估指标以及最近工作中的结果趋势。
• 它概述了如数据需求、泛化性、幻觉、知识边界和计算需求等挑战。
• 本文提出潜在策略，包括多模态数据整合、先进学习方法、可解释性与效率提升。
• 它强调未来趋势，如实时处理、可持续建模实践和跨学科协作。