[논문 리뷰] LLMs with Industrial Lens: Deciphering the Challenges and Prospects -- A Survey

Ashok Urlana, Charaka Vinayak Kumar외 4명|arXiv (Cornell University)|2024. 02. 22.

ERP Systems Implementation and Impact인용 수 7

한 줄 요약

본 조사는 Practitioners를 인터뷰하고 8개 도메인에 걸친 68편의 산업 논문을 검토하여 채택 도전 과제, 데이터셋, 평가 방법 및 배포 이슈를 파악합니다. 컴퓨팅 자원, 프라이버시, 오픈 액세스 문제를 강조하고 향후 방향을 제시합니다.

ABSTRACT

Large language models (LLMs) have become the secret ingredient driving numerous industrial applications, showcasing their remarkable versatility across a diverse spectrum of tasks. From natural language processing and sentiment analysis to content generation and personalized recommendations, their unparalleled adaptability has facilitated widespread adoption across industries. This transformative shift driven by LLMs underscores the need to explore the underlying associated challenges and avenues for enhancement in their utilization. In this paper, our objective is to unravel and evaluate the obstacles and opportunities inherent in leveraging LLMs within an industrial context. To this end, we conduct a survey involving a group of industry practitioners, develop four research questions derived from the insights gathered, and examine 68 industry papers to address these questions and derive meaningful conclusions. We maintain the Github repository with the most recent papers in the field.

연구 동기 및 목표

• LLMs가 산업 응용에서 어떻게 도움이 되고 어떤 방식으로 사용되는지 이해한다.
• 실무에서의 주요 산업 응용, 데이터셋 및 평가 지표를 식별한다.
• 프라이버시, 컴퓨트, 규제 문제를 포함한 배포 도전을 특징지운다.
• 미래 연구에서 산업적 LLM의 활용도를 극대화할 방향을 제시한다.

제안 방법

• 두 단계 연구를 수행한다: 설문지를 통한 실무자 사례 연구와 68편의 산업 논문에 대한 설문조사.
• 논문을 8개 응용 도메인으로 분류하여 사용 패턴을 매핑한다.
• 실무자 인사이트와 문헌 검토에서 네 가지 연구 질문을 도출한다.
• 산업에 관련된 데이터셋, 모델, 평가 지표 및 한계를 분석한다.
• 배포 도전 과제를 종합하고 향후 방향을 제안한다.
• 산업 LLM 응용 및 평가 접근법의 구조화된 분류체계를 제공한다.

실험 결과

연구 질문

• RQ1 RQ1. LLM은 산업 응용에 어떻게 도움을 주며 어떤 방식으로 활용되는가?
• RQ2 RQ2. 산업이 집중하고 있는 주요 응용 분야와 관련 데이터셋 및 평가 지표는 무엇인가?
• RQ3 RQ3. 배포 도전과제가 있는가? 있다면 무엇인가?
• RQ4 RQ4. 산업 응용에서 LLM의 활용도를 극대화할 수 있는 방향은 무엇인가?

주요 결과

• 본 설문조사는 68편의 산업 논문과 파이프라인에서 LLM 사용을 8개의 광범위한 응용 도메인으로 분석한다.
• 산업용 LLM 도입은 컴퓨트 요건, 프라이버시 문제, 오픈 액세스 등 중요한 도전에 직면한다.
• 실무자 사례 연구에서 중간 규모 기업의 26건 응답을 얻어 분석의 기반을 다졌다.
• 연구 중 인간 평가를 수행한 연구는 15% 미만으로, 보다 엄밀한 검증이 필요하다.
• 배포 도전 과제로 프라이버시, 인프라, 규제를 다루며 다국어 모델 및 프라이버시/보안 고려사항 등의 향후 방향을 제시한다.
• 본 연구는 산업적 관점에서 LLM 활용, 데이터셋, 평가 지표 및 한계에 대한 최초의 통찰을 제공한다.