[논문 리뷰] A Reality check of the benefits of LLM in business

Cheung Ming|arXiv (Cornell University)|2024. 06. 09.

ERP Systems Implementation and Impact인용 수 6

한 줄 요약

본 논문은 실세계 데이터로 네 가지 접근 가능한 LLM을 시험하여 핵심 비즈니스 프로세스에서 대형 언어 모델(LLMs)의 유용성 및 준비도를 실증적으로 평가하고, 편향, 맥락 이해, 프롬프트 민감도에서의 한계를 강조한다.

ABSTRACT

Large language models (LLMs) have achieved remarkable performance in language understanding and generation tasks by leveraging vast amounts of online texts. Unlike conventional models, LLMs can adapt to new domains through prompt engineering without the need for retraining, making them suitable for various business functions, such as strategic planning, project implementation, and data-driven decision-making. However, their limitations in terms of bias, contextual understanding, and sensitivity to prompts raise concerns about their readiness for real-world applications. This paper thoroughly examines the usefulness and readiness of LLMs for business processes. The limitations and capacities of LLMs are evaluated through experiments conducted on four accessible LLMs using real-world data. The findings have significant implications for organizations seeking to leverage generative AI and provide valuable insights into future research directions. To the best of our knowledge, this represents the first quantified study of LLMs applied to core business operations and challenges.

연구 동기 및 목표

• 비즈니스 프로세스에서 LLM의 유용성과 준비도를 평가한다.
• 편향, 맥락 이해, 프롬프트 민감도 등 LLM의 한계를 평가한다.
• 다수의 접근 가능한 LLM에 대한 실데이터로 실험을 수행하여 능력을 정량화한다.
• 조직에 대한 시사점과 향후 연구 방향을 제시한다.

제안 방법

• 일반적인 LLM과 그들의 비즈니스 활용 사례에 대한 고찰 및 논의.
• 네 가지 접근 가능한 LLM으로부터의 실데이터를 사용한 실험으로 유용성과 능력을 평가.
• 프로젝트 계획을 위한 참고문헌 제안 능력을 테스트하여 편향 분석.
• 자연어 질문에서 SQL 쿼리를 생성하기 위한 코드 생성 실험.
• 관련 맥락 제공의 중요성을 보여주는 맥락적 프롬프트 실험.
• 여러 웹 기반 LLM에 접근하고 응답 수집을 자동화하기 위한 래퍼로 Poe의 사용.

Figure 1. Examples of a question on LLM with different prompts: (a) the question only; (b) write for sales, (c) write for data scientists.

실험 결과

연구 질문

• RQ1 비즈니스 맥락에서 기획, 실행, 제공 및 의사결정을 위한 LLM의 유용성은 어느 정도인가?
• RQ2 비즈니스 애플리케이션에서 LLM의 주요 한계는 무엇인가 (편향, 맥락 이해, 프롬프트 민감도)?
• RQ3 문헌 검토를 위한 참고문헌 생성 및 비즈니스 질문으로부터의 SQL 코드 생성과 같은 작업에서 LLM은 얼마나 잘 수행하는가?
• RQ4 맥락 및 프롬프트 설계가 비즈니스 작업의 LLM 출력에 얼마나 영향을 미치는가?

주요 결과

• Claude-instant가 편향 관련 실험에서 참고문헌 생성 정확도의 평균 일치도에서 가장 높게 나타났다(약 50 중 1.9).
• ChatGPT는 약 1.73개의 일치된 참고문헌을 평균으로 달성하여 Claude-instant를 뒤었다.
• LLMs는 단일 테이블 SQL 쿼리에 대해 다중 테이블 맥락이 필요한 조인보다 더 나은 성능을 보인다.
• 프롬프트 민감도는 출력에 상당한 영향을 미치며, 프롬프트에 적절한 맥락의 필요성을 강조한다.
• LLMs는 코딩 및 다중 테이블 데이터 분석과 같은 작업에서 복잡한 추론과 맥락에 어려움을 겪으며, 일부 비즈니스 애플리케이션에 대한 준비도가 제한적임을 시사한다.

Figure 2. Example of questions on different LLM: (a) ChatGPT; (b) Claude; (c) Llama; (d) PaLM