[논문 리뷰] Just Tell Me: Prompt Engineering in Business Process Management

Kiran Busch, Alexander Rochlitzer외 2명|arXiv (Cornell University)|2023. 04. 14.

Business Process Modeling and Analysis인용 수 6

한 줄 요약

이 논문은 비즈니스 프로세스 관리(BPM)에서 피드백 조정 대신 프롬프트 엔지니어링을 타당한 대안으로 제안하며, 작업 전용 데이터가 없이도 대규모 언어 모델(LMs)을 제로샷 또는 희소샷으로 배포할 수 있도록 한다. 프롬프트 설계, 모델 선택, 출력 처리 및 평가와 같은 핵심 과제를 식별하는 연구 계획을 제안하며, 프롬프트 엔지니어링이 프로세스 추출 및 모델 완성과 같은 BPM 작업을 최소한의 데이터로, 모델 피드백 조정 없이도 효과적으로 지원할 수 있음을 보여준다.

ABSTRACT

GPT-3 and several other language models (LMs) can effectively address various natural language processing (NLP) tasks, including machine translation and text summarization. Recently, they have also been successfully employed in the business process management (BPM) domain, e.g., for predictive process monitoring and process extraction from text. This, however, typically requires fine-tuning the employed LM, which, among others, necessitates large amounts of suitable training data. A possible solution to this problem is the use of prompt engineering, which leverages pre-trained LMs without fine-tuning them. Recognizing this, we argue that prompt engineering can help bring the capabilities of LMs to BPM research. We use this position paper to develop a research agenda for the use of prompt engineering for BPM research by identifying the associated potentials and challenges.

연구 동기 및 목표

• 작업 전용 데이터가 제한된 BPM 문제를 해결하기 위해 대규모 언어 모델의 피드백 조정 대신 프롬프트 엔지니어링을 제안한다.
• 프롬프트 엔지니어링을 BPM 작업에 적용할 때의 핵심 연구 과제를 식별한다. 이는 프롬프트 설계, 모델 선택, 출력 처리를 포함한다.
• 큰 작업 전용 데이터셋과 전문화된 피드백 조정에 대한 의존도를 줄이기 위해 사전 훈련된 LMs를 활용한 컨텍스트 기반 학습을 활용한다.
• 프로세스 모델과 이벤트 로그와 같은 BPM 전용 표현 방식에 맞는 프롬프트 템플릿 설계 및 체계적 평가의 기반을 마련한다.
• 사전 구현된 언어 모델을 사용해 NLP 기반 솔루션의 빠른 프로토타이핑과 배포를 가능하게 하여 BPM 분야의 혁신을 촉진한다.

제안 방법

• 사전 훈련된 언어 모델을 수정하지 않고도 추론 시 자연어 프롬프트를 사용하여 최종 BPM 작업을 지정한다.
• 제로샷 또는 희소샷 프롬프팅을 활용하며, 이는 작업 지시어와 선택적으로 몇 가지 예시를 포함한다.
• 구조적 구분 기호(예: 쉼표 또는 'then')를 사용해 프로세스 표현(예: 이벤트 로그, 프로세스 모델)을 프롬프트에 통합하여 맥락을 유지한다.
• 컨텍스트 기반 학습을 적용해 LMs가 소수의 예시나 작업 설명만으로도 사전 훈련된 지식을 활용해 일반화할 수 있도록 한다.
• 프로세스 엔티티 정의나 모델링 제약 조건과 같은 관련 BPM 전용 맥락을 포함하는 프롬프트 템플릿을 설계한다.
• LM의 자유형 출력을 프로세스 모델이나 활동 시퀀스와 같은 구조화된 BPM 자산으로 변환하기 위해 후처리 단계를 구현한다.

실험 결과

연구 질문

• RQ1 피드백 조정 없이도 어떻게 프롬프트 엔지니어링을 프로세스 추출 및 모델 완성과 같은 BPM 작업에 효과적으로 적용할 수 있는가?
• RQ2 특히 토큰 길이 제약 조건과 도메인 전용 맥락이 필요한 상황에서 효과적인 프롬프트를 설계할 때의 핵심 과제는 무엇인가?
• RQ3 다른 사전 훈련된 언어 모델 간에 프롬프트의 이식 가능성은 어떻게 되며, 모델 크기가 BPM 응용에서 프롬프트 성능에 어떤 영향을 미치는가?
• RQ4 BPM 작업에 최적화된 프롬프트 템플릿을 비교하고 최적화하기 위해 필요한 체계적 평가 프레임워크는 무엇인가?
• RQ5 LM의 자연어 출력을 유효한 BPM 자산으로 안정적으로 변환하기 위해 후처리 단계를 어떻게 설계할 수 있는가?

주요 결과

• 프롬프트 엔지니어링은 피드백 조정이나 큰 레이블이 부여된 데이터셋이 없이도 대규모 언어 모델을 BPM 작업에 효과적으로 배포할 수 있도록 한다.
• 사전 훈련된 언어 모델은 정교하게 설계된 프롬프트를 통해 제로샷 설정에서도 프로세스 추출 및 모델 완성과 같은 BPM 작업을 수행할 수 있다.
• 프롬프트 성능는 프롬프트 설계에 매우 민감하며, 작은 변화만으로도 출력 품질과 작업 정확도에 큰 영향을 미친다.
• 다른 LMs 간의 프롬프트 이식 가능성은 제한적이며, 특히 모델 크기가 다를 경우 더욱 그러하다. 이는 모델별로 프롬프트 엔지니어링이 필요함을 시사한다.
• LM의 자유형 출력을 구조화된 BPM 표현으로 변환하기 위해 후처리가 필수적이며, 이 단계는 도메인 전용 논리와 검증이 필요하다.
• LM의 프롬프트 어조에 매우 민감하기 때문에 프롬프트 템플릿의 체계적 평가는 필수적이며, BPM 전용 프롬프트 설계 가이드라인이 필요하다.