[논문 리뷰] An Interdisciplinary Comparison of Sequence Modeling Methods for Next-Element Prediction

Niek Tax, Irene Teinemaa외 1명|arXiv (Cornell University)|2018. 10. 31.

Business Process Modeling and Analysis인용 수 5

한 줄 요약

이 논문은 다음 원소 예측을 위한 기계학습, 문법 유추, 프로세스 마이닝 분야의 시퀀스 모델링 기법을 비교하는 교차 분야 벤치마크를 제시한다. 네 가지 실제 데이터셋에서 확률적 모델을 평가한 결과, 인간이 해석할 수 있는 모델에 비해 블랙박스 기계학습 기법(예: RNN, LSTM)이 예측 정확도에서 뛰어나지만, 후자의 경우 인간 해석 가능성에 초점을 두고 있다.

ABSTRACT

Data of sequential nature arise in many application domains in forms of, e.g. textual data, DNA sequences, and software execution traces. Different research disciplines have developed methods to learn sequence models from such datasets: (i) in the machine learning field methods such as (hidden) Markov models and recurrent neural networks have been developed and successfully applied to a wide-range of tasks, (ii) in process mining process discovery techniques aim to generate human-interpretable descriptive models, and (iii) in the grammar inference field the focus is on finding descriptive models in the form of formal grammars. Despite their different focuses, these fields share a common goal - learning a model that accurately describes the behavior in the underlying data. Those sequence models are generative, i.e, they can predict what elements are likely to occur after a given unfinished sequence. So far, these fields have developed mainly in isolation from each other and no comparison exists. This paper presents an interdisciplinary experimental evaluation that compares sequence modeling techniques on the task of next-element prediction on four real-life sequence datasets. The results indicate that machine learning techniques that generally have no aim at interpretability in terms of accuracy outperform techniques from the process mining and grammar inference fields that aim to yield interpretable models.

연구 동기 및 목표

• 기계학습, 문법 유추, 프로세스 마이닝 분야의 고립된 연구 공동체 간 격차를 해소하기 위해, 서로 다른 분야 간 시퀀스 모델링 기법의 교차 비교를 가능하게 하기 위해.
• 기계학습, 문법 유추, 프로세스 마이닝 분야의 시퀀스 모델이 동일한 과제인 '전체 확률 분포 출력을 포함한 다음 원소 예측'에서의 예측 성능을 평가하기 위해.
• 프로세스 마이닝과 문법 유추에서 유도된 해석 가능한 모델이 블랙박스 기계학습 모델의 정확도를 따라잡을 수 있는지 평가하기 위해.
• 프로세스 마이닝에서 발견된 페트리 넷을 시퀀스 예측을 위한 생성 확률 모델로 사용할 수 있는지의 가능성을 탐색하기 위해.

제안 방법

• 두 가지 접근 방식을 사용하여 프로세스 마이닝 기법을 확률적 시퀀스 모델로 변환: 균일 분포(시각적 구조 기반)와 경험적 분포(학습 로그 최적화).
• 기계학습(예: RNN, LSTM, HMM), 문법 유추(확률적 문맥 자유 문법), 프로세스 마이닝(페트리 넷) 분야의 시퀀스 모델링 기법을 동일한 다음 원소 예측 프레임워크로 통합.
• 텍스트, DNA, 소프트웨어 트레이스, 비즈니스 프로세스를 포함한 네 가지 실제 생활 데이터셋을 사용하여 모델 성능 평가.
• 로그-가능도와 정확도 지표를 사용하여 평가하며, 가장 가능성 있는 원소가 아닌 전체 다음 원소에 대한 확률 분포를 중심으로 평가.
• 프로세스 모델의 각 마킹에서 다음 원소에 대한 범주형 확률 분포를 추론하기 위해 확률적 프리픽스-일치(Probabilistic prefix-alignment)를 구현.
• 동일한 과제, 지표, 데이터셋을 사용하여 분야 간 표준화된 평가를 통해 공정한 비교를 보장.

실험 결과

연구 질문

• RQ1 기계학습 기반 시퀀스 모델은 다음 원소 예측에서 해석 가능한 프로세스 마이닝 및 문법 유추 모델보다 예측 정확도에서 어떻게 비교되는가?
• RQ2 기존에 프로세스 발견에 사용된 프로세스 마이닝 기법이 생성 확률 모델로 효과적으로 재사용될 수 있는가?
• RQ3 해석 가능한 모델이 문법 유추 및 프로세스 마이닝 분야에서 블랙박스 기계학습 모델과 비교하여 어느 정도의 예측 성능을 달성하는가?
• RQ4 시퀀스 모델링 과제에서 모델의 해석 가능성은 예측 정확도에 어떤 영향을 미치는가?

주요 결과

• 기계학습 모델, 특히 RNN과 LSTM은 네 가지 데이터셋 전반에서 문법 유추 및 프로세스 마이닝 모델보다 유의미하게 높은 예측 정확도를 달성했다.
• 프로세스 마이닝에서 경험적 분포 접근 방식이 균일 분포 접근 방식보다 성능이 뛰어나, 학습 데이터 기반의 확률 추정이 예측 품질을 향상시킨다는 것을 시사한다.
• 해석 가능성에 초점을 두었음에도 불구하고, 프로세스 마이닝 및 문법 유추 모델은 기계학습 모델보다 낮은 로그-가능도 점수를 기록하여, 훈련 데이터에 없는 시퀀스로의 일반화 능력이 떨어지는 것으로 나타났다.
• 성능 격차는 소프트웨어 실행 트레이스와 DNA 시퀀스와 같은 복잡하고 긴 尾 distribution(긴 尾 분포)에서 가장 두드러졌으며, 이 경우 기계학습 모델이 드문 전이에 더 잘 적응하는 것으로 나타났다.
• 확률적 프리픽스-일치가 프로세스 모델에서 정확한 확률 추정을 위해 필수적임을 입증하였으며, 이는 비확률적 일치 방법의 핵심적 한계를 드러낸다.
• 결과적으로, 해석 가능성보다 예측 정확도를 우선시할 경우, 기계학습 기반 시퀀스 모델이 다음 원소 예측 과제에서 열등하지 않다는 것이 확인되었다.