[논문 리뷰] Large Language Models for Forecasting and Anomaly Detection: A Systematic Literature Review

Jing Su, Chufeng Jiang외 8명|arXiv (Cornell University)|2024. 02. 15.

Topic Modeling인용 수 72

한 줄 요약

본 논문은 대형 언어 모델(LLMs)을 활용한 예측 및 이상 탐지에 대한 체계적 문헌 고찰을 제시하며 현재 상태, 도전 과제, 향후 방향을 개괄한다.

ABSTRACT

This systematic literature review comprehensively examines the application of Large Language Models (LLMs) in forecasting and anomaly detection, highlighting the current state of research, inherent challenges, and prospective future directions. LLMs have demonstrated significant potential in parsing and analyzing extensive datasets to identify patterns, predict future events, and detect anomalous behavior across various domains. However, this review identifies several critical challenges that impede their broader adoption and effectiveness, including the reliance on vast historical datasets, issues with generalizability across different contexts, the phenomenon of model hallucinations, limitations within the models' knowledge boundaries, and the substantial computational resources required. Through detailed analysis, this review discusses potential solutions and strategies to overcome these obstacles, such as integrating multimodal data, advancements in learning methodologies, and emphasizing model explainability and computational efficiency. Moreover, this review outlines critical trends that are likely to shape the evolution of LLMs in these fields, including the push toward real-time processing, the importance of sustainable modeling practices, and the value of interdisciplinary collaboration. Conclusively, this review underscores the transformative impact LLMs could have on forecasting and anomaly detection while emphasizing the need for continuous innovation, ethical considerations, and practical solutions to realize their full potential.

연구 동기 및 목표

• 도메인 간에서의 예측 및 이상 탐지에 있어 LLMs의 현재 활용을 조사한다.
• LLM 기반 예측 및 이상 탐지 작업에서의 방법론적 경향 및 평가 관행을 식별한다.
• 이들 분야에 LLM을 배포할 때의 한계, 도전 과제 및 잠재적 해결책을 강조한다.
• 예측 및 이상 탐지에서 LLM의 효과적 사용에 대한 가이드를 제공한다.
• 이 영역의 향후 연구 방향과 윤리적 고려 사항을 개괄한다.

제안 방법

• 엄격성과 투명성을 보장하기 위해 Kitchenham의 체계적 문헌 고찰(SLR) 방법론을 채택한다.
• 대상 작업에서 LLM의 방법론, 효과 및 한계를 분류하기 위한 연구 질문을 정의한다.
• 최근 연구를 포착하기 위해 OpenReview를 포함한 다중 데이터베이스 및 다중 소스 검색을 수행한다.
• 2020년 이후의 동료 심사 논문 및 영어 논문을 선정하기 위해 명시적 포함 및 제외 기준을 적용한다.
• 최신 접근법, 데이터 세트, 지표 및 응용에 대한 체계적 개요로 결과를 종합한다.

실험 결과

연구 질문

• RQ1 RQ1 다양한 도메인에서 예측을 위해 LLM에 어떤 방법론이 사용되고 있는가?
• RQ2 RQ2 전통적 이상 탐지 방법과 비교했을 때 LLM은 이상 탐지에서 얼마나 효과적인가?
• RQ3 RQ3 예측 및 이상 탐지를 위해 LLM을 사용할 때의 한계와 도전 과제는 무엇인가?

주요 결과

• 이는 예측 및 이상 탐지에서 LLM에 전념하는 최초의 포괄적 SLR이다.
• 본 고찰은 이러한 작업에서 LLM을 효과적으로 사용하는 실용적인 가이드를 식별한다.
• LLM이 예측 및 이상 탐지 작업을 위해 구조화된 데이터와 비구조화 데이터를 다루는 방식에 대한 이론적 통찰을 제공한다.
• 연구는 최근 연구들에서의 데이터 세트, 전처리 기법, 평가 지표 및 결과 추세를 다룬다.
• 데이터 필요성, 일반화 가능성, 환각, 지식 경계, 계산 요구 등의 도전을 개략한다.
• 다중 모드 데이터 통합, 고급 학습 방법, 설명가능성 및 효율성 향상 등 잠재적 전략을 제안한다.
• 실시간 처리, 지속 가능한 모델링 관행, 교차 학문 협력과 같은 미래 경향을 강조한다.