[논문 리뷰] Large Language Models for Business Process Management: Opportunities and Challenges

Maxim Vidgof, Stefan Bachhofner외 1명|arXiv (Cornell University)|2023. 04. 09.

Business Process Modeling and Analysis인용 수 4

한 줄 요약

이 논문은 비즈니스 프로세스 관리(BPM)의 전 주기 동안 대규모 언어 모델(LLM)의 통합을 탐구하며, 응용, 데이터, 벤치마킹, 도메인 특화 LLM 개발에 중점을 둔 여섯 가지 연구 방향을 제안한다. 자동화 및 BPM 작업의 향상 기회를 식별하면서도, 환상, 편향, 윤리적 리스크와 같은 핵심 과제를 제기하며, 체계적이고 임무 중심의 접근 방식과 오픈소스 도메인 튜닝 모델의 사용을 주장한다.

ABSTRACT

Large language models are deep learning models with a large number of parameters. The models made noticeable progress on a large number of tasks, and as a consequence allowing them to serve as valuable and versatile tools for a diverse range of applications. Their capabilities also offer opportunities for business process management, however, these opportunities have not yet been systematically investigated. In this paper, we address this research problem by foregrounding various management tasks of the BPM lifecycle. We investigate six research directions highlighting problems that need to be addressed when using large language models, including usage guidelines for practitioners.

연구 동기 및 목표

• 대규모 언어 모델(LLM)이 비즈니스 프로세스 관리(BPM) 라이프사이클에 어떻게 통합될 수 있는지 체계적으로 조사하는 것.
• LLM을 BPM에 사용할 때 발생하는 핵심 과제, 특히 환상, 편향, 윤리적 리스크를 식별하고 해결하는 것.
• 임무 중심의 통합에서 도메인 튜닝 모델 개발에 이르기까지 LLM의 BPM 응용을 발전시키기 위한 여섯 가지 연구 방향을 제안하는 것.
• 연구 및 실무적 적용을 지원하기 위해 오픈소스 도메인 특화 LLM의 사용을 주장하는 것.
• 사람과 LLM 간의 임무 중심 협업에 초점을 맞춰 LLM에 대한 과도한 기대를 관리하는 것.

제안 방법

• 본 연구는 탐색적 연구 접근법을 사용하여 LLM의 능력을 특정 BPM 라이프사이클 단계와 관리 과제에 대응시킨다.
• 관찰된 BPM 분야에서의 LLM 응용 기반으로 여섯 가지 핵심 연구 방향을 식별한다. 이는 사용 가이드라인과 시스템 통합을 포함한다.
• 연구 방법론은 일반적인 홍보보다는 임무 중심의 응용에 중점을 두며, 기존의 NLP, 딥러닝, 지식 그래프 기법을 기반으로 한다.
• GPT 및 OPT와 같은 기존 LLM을 활용하며, BPM 특화 사용 사례에 적합한 파인튜닝 및 도메인 적응에 중점을 둔다.
• 강화 학습 및 소수 샘플/제로 샘플 학습의 통찰을 활용하여 LLM의 일반화 능력을 BPM 환경에서 평가한다.
• LLM을 기존 BPM 기술(예: 프로세스 모델, 문서, 오디오)과 융합하여 맥락 인식 능력을 향상시키는 것을 주장한다.

실험 결과

연구 질문

• RQ1 LLM은 BPM 라이프사이클의 다양한 단계에 어떻게 효과적으로 통합되어 관리 과제를 지원할 수 있는가?
• RQ2 LLM을 BPM에 사용할 때 발생하는 주요 과제, 특히 사실 정확성, 편향, 윤리적 함의는 무엇인가?
• RQ3 LLM은 어떻게 적응하거나 파인튜닝되어 프로세스 모델링 및 요구사항 공학과 같은 도메인 특화 BPM 과제를 해결할 수 있는가?
• RQ4 프로세스 다이어그램, 오디오 메모, 문서와 같은 맥락 인식 입력은 BPM 시나리오에서 LLM 성능 향상에 어떤 역할을 하는가?
• RQ5 오픈소스 도메인 특화 LLM은 어떻게 개발하고 사용하여 BPM 분야의 연구 및 실무를 발전시킬 수 있는가?

주요 결과

• LLM은 자연어 이해 및 생성 능력을 통해 프로세스 모델링, 요구사항 공학, 프로세스 재설계 등의 BPM 과제 향상 잠재력을 보인다.
• 프로세스 다이어그램, 코멘트, 오디오 메모와 같은 맥락 기반 자료와의 LLM 통합은 과제 정확도와 관련성 향상에 크게 기여할 수 있다.
• 환상, 사실 오류, 훈련 데이터의 편향은 특히 고위험 BPM 응용 분야에서 여전히 주요 과제이다.
• BPM 특화 데이터로 일반 목적 LLM을 파인튜닝하면 기본 모델을 사용할 때보다 더 신뢰할 수 있고 도메인 인식 능력이 향상된 출력을 얻을 수 있다.
• 도메인 특화 LLM을 오픈소스로 제공하면 연구 접근성이 넓어지고, 상용 라이센스 장벽 없이 조직 내에서 실무적 구현이 가능해진다.
• LLM을 소프트웨어 플러그인 또는 지식 그래프와 같은 기존 BPM 기술과 융합하면 확장성 있고 맥락 인식 능력이 뛰어난 자동화의 유망한 길이 될 수 있다.