[논문 리뷰] A Unified Conversational Assistant Framework for Business Process Automation

Yara Rizk, Abhishek Bhandwalder외 6명|arXiv (Cornell University)|2020. 01. 07.

Business Process Modeling and Analysis참고 문헌 21인용 수 11

한 줄 요약

이 논문은 기업 프로세스 자동화를 위한 대화형 보조자원을 통합하는 다중 에이전트 오케스트레이션 프레임워크를 제안한다. 이 프레임워크는 대화, 데이터 쿼리, 경고 기반 에이전트와 같은 이질적인 에이전트들 간에 자연어 인터랙션을 가능하게 하며, 3S 오케스트레이터(스코어러, 세レ크터, 시퀀서)를 통해 제어한다. 이 프레임워크는 코딩 오버헤드를 줄이고 확장성과 다중 사용자 접근을 지원하며, 최소한의 통합 노력과 뛰어난 성능으로 두 가지 실제 사례에서 효과성을 입증한다.

ABSTRACT

Business process automation is a booming multi-billion-dollar industry that promises to remove menial tasks from workers' plates -- through the introduction of autonomous agents -- and free up their time and brain power for more creative and engaging tasks. However, an essential component to the successful deployment of such autonomous agents is the ability of business users to monitor their performance and customize their execution. A simple and user-friendly interface with a low learning curve is necessary to increase the adoption of such agents in banking, insurance, retail and other domains. As a result, proactive chatbots will play a crucial role in the business automation space. Not only can they respond to users' queries and perform actions on their behalf but also initiate communication with the users to inform them of the system's behavior. This will provide business users a natural language interface to interact with, monitor and control autonomous agents. In this work, we present a multi-agent orchestration framework to develop such proactive chatbots by discussing the types of skills that can be composed into agents and how to orchestrate these agents. Two use cases on a travel preapproval business process and a loan application business process are adopted to qualitatively analyze the proposed framework based on four criteria: performance, coding overhead, scalability, and agent overlap.

연구 동기 및 목표

• 최소한의 기술 전문성으로 자율 에이전트를 기업 프로세스에 구현하는 데 도전하는 문제를 해결한다.
• 독립적으로 개발된 에이전트들을 융합된 대화형 시스템에 통합하는 데 필요한 코딩 오버헤드를 줄인다.
• 사용자와 자동화된 에이전트 간의 능동적이고 자연어 기반의 상호작용을 통해 모니터링, 제어 및 맞춤 설정을 가능하게 한다.
• 학습 가능한 오케스트레이터 파이프라인을 통해 다중 에이전트 시스템의 확장성과 에이전트 기능 중복 문제를 해결한다.
• 역할 기반 접근 제어를 통해 다중 사용자 환경을 지원하면서도 데이터 프라이버시를 유지한다.

제안 방법

• 사용자 의도와 맥락에 기반해 에이전트 실행을 동적으로 관리하기 위해 3S 오케스트레이터(스코어러, 세레크터, 시퀀서)를 활용한다.
• 상호운용성 확보와 통합 복잡도 감소를 위해 에이전트의 표준화된 입력-출력 계약을 정의한다.
• 에이전트 중복 문제를 처리하고 시간이 지남에 따라 선택 정확도를 향상시키기 위해 학습 기반 세레크터를 사용한다.
• 대화, 데이터 쿼리, 시각화, 비즈니스 룰 에이전트와 같은 이질적인 에이전트들을 단일 대화 인터페이스에 통합한다.
• 각 사용자 수준에서 접근 제어를 시행함으로써 다중 사용자 세션을 지원한다.
• 샌드박스 환경에 프레임워크를 구현하여 두 가지 실제 사례(여행 사전 승인 및 대출 신청 프로세스)를 구현한다.

실험 결과

연구 질문

• RQ1 독립적으로 개발된, 상호 호환되지 않을 수 있는 AI 에이전트들을 최소한의 코딩 오버헤드로 효과적으로 통합하여 단일 대화형 보조자원으로 구성할 수 있는가?
• RQ2 중앙 집중식 오케스트레이터가 에이전트 선택, 순서 정렬, 스코어링을 수행하면서도 에이전트 신뢰도의 노이즈와 불확실성을 다룰 수 있는가?
• RQ3 대규모 다중 에이전트 시스템에서 에이전트 기능 중복으로 인한 성능 저하를 방지할 수 있는 메커니즘은 무엇인가?
• RQ4 보안이나 프라이버시를 해치지 않으면서도 능동적 소통과 다중 사용자 협업을 지원할 수 있는가?
• RQ5 자연어 인터페이스를 통해 엔터프라이즈 BPA 도메인에서의 사용성과 수용도를 얼마나 향상시킬 수 있는가?

주요 결과

• 이 프레임워크는 데이터 쿼리, 시각화, 비즈니스 룰 에이전트를 포함한 여러 자율 에이전트들을 최소한의 코딩 오버헤드로 단일 대화 인터페이스에 성공적으로 통합했다.
• 3S 오케스트레이터는 표준화된 입력-출력 계약을 강제 적용함으로써 에이전트 통합 복잡도를 낮추고 동적 에이전트 선택을 가능하게 했다.
• 학습 기반 세레크터는 에이전트 선택 정확도를 향상시키고, 중복된 기능으로 인한 성능 저하를 완화시켰다.
• 대출 신청 사례에서 보조자는 '대출 금액 기준 상위 5명의 차용인을 찾기' 및 '대출 요청 평가'와 같은 복잡한 쿼리를 자연어 이해 기반으로 처리했다.
• 시스템은 능동적 기능을 보였으며, 예를 들어 고위험 대출 요청에 대해 사용자에게 경고를 발송하고 필요에 따라 막대 그래프와 같은 시각화를 생성했다.
• 실제 시나리오에서 뛰어난 사용성 성능를 보였으며, 사용자들은 자연어만으로 데이터 쿼리, 작업 자동화, 의사결정 지원 기능을 수행할 수 있었다.