[論文レビュー] An Interdisciplinary Comparison of Sequence Modeling Methods for Next-Element Prediction

Niek Tax, Irene Teinemaa+1 more|arXiv (Cornell University)|Oct 31, 2018

Business Process Modeling and Analysis被引用数 5

ひとこと要約

本稿では、機械学習、文法推論、プロセスマイニング分野のシーケンスモデリング手法を、次要素予測の観点から横断的ベンチマーク化する。4つの実世界データセット上で確率的モデルを評価した結果、人間が解釈可能なモデルとは対照的に、ブラックボックス型の機械学習手法（例：RNN、LSTM）が、予測精度において優れていることが判明した。

ABSTRACT

Data of sequential nature arise in many application domains in forms of, e.g. textual data, DNA sequences, and software execution traces. Different research disciplines have developed methods to learn sequence models from such datasets: (i) in the machine learning field methods such as (hidden) Markov models and recurrent neural networks have been developed and successfully applied to a wide-range of tasks, (ii) in process mining process discovery techniques aim to generate human-interpretable descriptive models, and (iii) in the grammar inference field the focus is on finding descriptive models in the form of formal grammars. Despite their different focuses, these fields share a common goal - learning a model that accurately describes the behavior in the underlying data. Those sequence models are generative, i.e, they can predict what elements are likely to occur after a given unfinished sequence. So far, these fields have developed mainly in isolation from each other and no comparison exists. This paper presents an interdisciplinary experimental evaluation that compares sequence modeling techniques on the task of next-element prediction on four real-life sequence datasets. The results indicate that machine learning techniques that generally have no aim at interpretability in terms of accuracy outperform techniques from the process mining and grammar inference fields that aim to yield interpretable models.

研究の動機と目的

• 機械学習、文法推論、プロセスマイニング分野の研究コミュニティが孤立している現状を是正し、シーケンスモデリング手法の分野横断的比較を可能にする。
• 共通のタスク（全確率分布出力付きの次要素予測）における、異なる分野から得られるシーケンスモデルの予測性能を評価すること。
• プロセスマイニングおよび文法推論分野の解釈可能なモデルが、ブラックボックス型の機械学習モデルと同等の精度を達成できるかどうかを評価すること。
• プロセスマイニングで得られた発見済みペトリネットを、生成的確率的モデルとしてシーケンス予測に活用できるかどうかを検討すること。

提案手法

• プロセスマイニング手法を応用し、2つのアプローチ（均等分布：視覚的構造に基づく、経験的分布：トレーニングログから最適化）を用いて確率的シーケンスモデルを生成した。
• 機械学習（例：RNN、LSTM、HMM）、文法推論（確率的文脈自由文法）、プロセスマイニング（ペトリネット）の3分野のシーケンスモデリング手法を、共通の次要素予測フレームワークに統合した。
• テキスト、DNA、ソフトウェアトレース、ビジネスプロセスをカバーする4つの実生活データセットを用いて、モデルの性能を評価した。
• ログ尤度と精度という指標を用いて評価し、予測の焦点を「最も確率の高い要素」に限定せず、次要素の全確率分布に注目した。
• プロセスモデルの各マーキングごとに、カテゴリカル確率分布を推定するために、確率的プレフィックスアラインメントを実装した。
• 同じタスク、同じ指標、同じデータセットを用いることで、分野間の公平な比較を実現するため、評価を標準化した。

実験結果

リサーチクエスチョン

• RQ1 機械学習ベースのシーケンスモデルは、文法推論およびプロセスマイニング分野の解釈可能なモデルと比較して、次要素予測において予測精度がどう異なるか？
• RQ2 従来、プロセス発見に用いられるプロセスマイニング手法は、生成的確率的シーケンスモデルとして効果的に再利用可能か？
• RQ3 文法推論およびプロセスマイニング分野の解釈可能なモデルは、ブラックボックス型の機械学習モデルとどれほど同等の予測性能を達成できるか？
• RQ4 シーケンスモデリングタスクにおけるモデルの解釈可能性が、予測精度に与える影響は何か？

主な発見

• RNNおよびLSTMを含む機械学習モデルは、4つのデータセットすべてにおいて、文法推論およびプロセスマイニング分野のモデルよりも顕著に高い予測精度を達成した。
• プロセスマイニングにおける経験的分布アプローチが均等分布アプローチを上回ったことから、トレーニングデータに依存する確率推定が予測品質を向上させることを示した。
• 解釈可能性を重視したにもかかわらず、プロセスマイニングおよび文法推論モデルは、機械学習モデルに比べて低いログ尤度スコアを示し、未観測シーケンスへの一般化能力が弱いことが判明した。
• 特に複雑で長尾型のシーケンス分布（例：ソフトウェア実行トレースやDNA配列）において、機械学習モデルが希少遷移にうまく適応できることから、性能差が顕著に現れた。
• 確率的プレフィックスアラインメントが、プロセスモデルにおける正確な確率推定に不可欠であることが示された。これは、非確率的アラインメント手法の主要な限界を示している。
• 予測精度を最優先とする場合、解釈可能性を犠牲にしても、機械学習ベースのシーケンスモデルが次要素予測タスクにおいて優れていることが示唆された。