[論文レビュー] LLMs with Industrial Lens: Deciphering the Challenges and Prospects -- A Survey

Ashok Urlana, Charaka Vinayak Kumar+4 more|arXiv (Cornell University)|Feb 22, 2024

ERP Systems Implementation and Impact被引用数 7

ひとこと要約

この調査は、実務家へのインタビューと8つの領域にわたる68件の産業論文のレビューを通じて、採用の課題・データセット・評価手法・展開上の問題を特定し、LLMsの産業利用を分析します。計算資源、プライバシー、オープンアクセスの懸念を強調し、今後の方向性を概説します。

ABSTRACT

Large language models (LLMs) have become the secret ingredient driving numerous industrial applications, showcasing their remarkable versatility across a diverse spectrum of tasks. From natural language processing and sentiment analysis to content generation and personalized recommendations, their unparalleled adaptability has facilitated widespread adoption across industries. This transformative shift driven by LLMs underscores the need to explore the underlying associated challenges and avenues for enhancement in their utilization. In this paper, our objective is to unravel and evaluate the obstacles and opportunities inherent in leveraging LLMs within an industrial context. To this end, we conduct a survey involving a group of industry practitioners, develop four research questions derived from the insights gathered, and examine 68 industry papers to address these questions and derive meaningful conclusions. We maintain the Github repository with the most recent papers in the field.

研究の動機と目的

• LLMs が産業応用をどのように支援し、どのように使われているかを理解する。
• 実務での主要な産業応用、データセット、および評価指標を特定する。
• プライバシー、計算資源、規制問題を含む展開の課題を特徴づける。
• 将来の研究でLLMsの産業的有用性を最大化する方向性を提案する。

提案手法

• 質問票による実務家ケーススタディと68件の産業論文の調査という二段階の研究を実施する。
• 8つの応用分野に論文を分類し、利用パターンをマップする。
• 実務家の洞察と文献レビューから4つの研究質問を導く。
• 産業に関連するデータセット、モデル、評価指標、および制約を分析する。
• 展開上の課題を統合し、将来の方向性を提案する。
• 産業のLLM応用と評価アプローチの体系的分類を提供する。

実験結果

リサーチクエスチョン

• RQ1 RQ1. LLMs は産業応用をどのように支援し、どのような形で活用されているのか？
• RQ2 RQ2. 産業が焦点を当てている主要な応用と、それに関連するデータセットと評価指標は何か？
• RQ3 RQ3. 展開の課題はあるのか？
• RQ4 RQ4. 産業応用におけるLLMsの有用性を最大化する潜在的な方向性は何か？

主な発見

• 本調査は68件の産業論文を分析し、8つの大まかな応用ドメインにわたるLLMの利用パイプラインを示す。
• 産業用LLMsの導入には、計算要件、プライバシーの懸念、オープンアクセスといった重要な課題がある。
• 実務家によるケーススタディは、中規模企業からの26件の回答を得て分析の地盤を固めた。
• 研究の人間評価は15%未満であり、より厳密な検証の必要性を示している。
• 本論文は展開の課題（プライバシー、インフラ、規制）を論じ、将来の方向性として多言語モデルやプライバシー/セキュリティの考慮を含む。
• この研究は、LLM利用、データセット、評価指標、制約に関する産業初の視点を提供する。