[논문 리뷰] Memory-Augmented Neural Networks for Predictive Process Analytics

Asjad Khan, Hung Lê외 5명|arXiv (Cornell University)|2018. 02. 03.

Business Process Modeling and Analysis참고 문헌 12인용 수 16

한 줄 요약

이 논문은 예측적 프로세스 분석을 향상시키기 위해 이중 컨트롤러와 왁은 메모리 정책을 갖춘 메모리 증강 신경망(MANN) 프레임워크를 제안한다. 실제 데이터셋을 사용하여 다음 활동 예측, 완료까지 소요 시간 예측, 서픽스 예측 작업에서 최신 기술 수준의 성능을 달성하며, 예측 가능한 프로세스 추천 엔진으로서 강력한 잠재력을 보여준다.

ABSTRACT

Process analytics involves a sophisticated layer of data analytics built over the traditional notion of process mining. The flexible execution of business process instances involves multiple critical decisions including what task to perform next and what resources to allocate to a task. In this paper, we explore the application of deep learning techniques for solving various process analytics related problems. Based on recent advances in the field we specifically look at memory-augmented neural networks (MANN)s and adapt the latest model to date, namely the Differential Neural Computer. We introduce two modifications to account for a variety of tasks in predictive process analytics: (i) separating the encoding phase and decoding phase, resulting dual controllers, one for each phase; (ii) implementing a write-protected policy for the memory during the decoding phase. We demonstrate the feasibility and usefulness of our approach by solving a number of common process analytics tasks such as next activity prediction, time to completion and suffix prediction. We also introduce the notion of MANN based process analytics recommendation machinery that once deployed can serve as an effective business process recommendation engine enabling organizations to answer various prescriptive process analytics related questions.Using real-world datasets, we benchmark our results against those obtained from the state-of-art methods. We show that MANNs based process analytics methods can acheive state-of-the-art performance and have a lot of value to offer for enterprise specific process anlaytics applications.

연구 동기 및 목표

• 더 나은 예측 및 사전 분석을 위해 전통적인 프로세스 마이닝의 한계를 극복하기 위해 딥 러닝을 통합한다.
• 장기적 의존성과 다양한 실행 경로를 가진 복잡하고 동적인 비즈니스 프로세스를 모델링하는 데 도전 과제를 해결한다.
• 다양한 예측적 프로세스 분석 작업(예: 다음 활동 예측, 완료까지 소요 시간 예측 등)을 처리할 수 있는 유연하고 확장 가능한 프레임워크를 개발한다.
• 외부 메모리를 활용해 프로세스 인스턴스에 대한 추론을 지원하는 메모리 증강 아키텍처를 도입한다.
• MANN 기반 추론을 통해 기업의 프로세스 최적화를 위한 지능형 추천 엔진을 구현할 수 있도록 한다.

제안 방법

• 최신 기술 수준의 MANN인 차별적 신경 컴퓨터(DNC)를 프로세스 분석에 적합하도록 개조하기 위해 별도의 인코딩 및 디코딩 컨트롤러를 도입한다.
• 메모리 액세스 메커니즘을 별도의 단계로 분리한다: 인코딩 단계는 프로세스 표현을 학습하고, 디코딩 단계는 예측을 수행한다.
• 디코딩 단계 동안 왳은 메모리 정책을 구현하여 학습된 표현을 보존하고 추론 중 간섭을 방지한다.
• 메모리 읽기 및 왳기 연산을 사용해 프로세스 상태 정보를 저장하고 검색함으로써 활동 및 자원의 시퀀스에 대한 추론을 가능하게 한다.
• 이벤트 로그에서 끝에서 끝까지 훈련하여 동시에 여러 예측 작업을 최적화한다.
• 예측 중 관련된 이전 프로세스 상태에 동적으로 집중할 수 있도록 주의 기반 메모리 주소 지정을 활용한다.

실험 결과

연구 질문

• RQ1 메모리 증강 신경망은 비즈니스 프로세스 실행 로그의 장기적 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 인코딩 및 디코딩 컨트롤러를 분리하면 예측적 프로세스 분석 작업에서 성능을 어떻게 향상시키는가?
• RQ3 디코딩 단계에서 왳은 메모리 정책을 적용할 경우 예측의 안정성과 정확도는 어느 정도 향상되는가?
• RQ4 제안된 MANN 기반 프레임워크는 다양한 프로세스 분석 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 이 프레임워크는 실시간 비즈니스 프로세스 추천 엔진의 기초로 얼마나 효과적인가?

주요 결과

• 제안된 MANN 기반 방법은 다음 활동 예측, 완료까지 소요 시간 예측, 서픽스 예측 작업에서 최신 기술 수준의 성능을 달성한다.
• 인코딩 및 디코딩 컨트롤러의 분리로 표현 학습과 생성을 분리함으로써 모델의 안정성과 예측 정확도가 향상된다.
• 디코딩 단계에서 왳은 메모리 정책을 적용함으로써 메모리 간섭이 크게 감소하고 다양한 프로세스 인스턴스에 대한 일반화 능력이 향상된다.
• 실제 데이터셋에서 강력한 일반화 능력을 보이며, 다양한 평가 시나리오에서 기존 최신 기술 수준의 방법들을 능가한다.
• 이 아키텍처는 예측 가능한 프로세스 추천 엔진의 기초로 효과적이며, 복잡한 비즈니스 프로세스 최적화 질문에 답할 수 있다.
• 장기간의 시퀀스와 외부 메모리에 대한 추론 능력 덕분에 변동적이고 복잡한 프로세스 흐름을 견고하게 처리할 수 있다.