[論文レビュー] Predicting Sequences of Traversed Nodes in Graphs using Network Models with Multiple Higher Orders

Christoph Gote, Giona Casiraghi+2 more|arXiv (Cornell University)|Jul 13, 2020

Complex Network Analysis Techniques参考文献 41被引用数 4

ひとこと要約

この論文では、複数の高次マルコフモデルを統合的に組み合わせた包括的な生成フレームワークとして、MOGenを提案する。MOGenは、6つの実世界データセットにおいて、次要素予測と、変動長のパス予測の両方で最先端の手法を上回る性能を発揮し、ハイパーパramータを必要としない情報理論的モデル選択アルゴリズムにより、最適なモデル次数を自動で特定可能である。

ABSTRACT

We propose a novel sequence prediction method for sequential data capturing node traversals in graphs. Our method builds on a statistical modelling framework that combines multiple higher-order network models into a single multi-order model. We develop a technique to fit such multi-order models in empirical sequential data and to select the optimal maximum order. Our framework facilitates both next-element and full sequence prediction given a sequence-prefix of any length. We evaluate our model based on six empirical data sets containing sequences from website navigation as well as public transport systems. The results show that our method out-performs state-of-the-art algorithms for next-element prediction. We further demonstrate the accuracy of our method during out-of-sample sequence prediction and validate that our method can scale to data sets with millions of sequences.

研究の動機と目的

• 既存のシーケンス予測手法が、ネットワークのトポロジー制約や変動長のパスを十分に考慮できないという限界を是正すること。
• 高次依存性を捉えつつ、下位のグラフ構造を尊重する包括的な生成モデルの構築。
• 手動でのチューニングを必要とせず、最適な最大次数Kを自動特定する情報理論的モデル選択手法の導入。
• 1つの訓練済みモデルから、次要素予測と全パス予測を両方可能とし、変動長のシーケンスをサポートすること。

提案手法

• 複数の次数のマルコフ連鎖を統合し、下位のグラフトポロジーに制約を受けるシーケンシャルパターンを捉える1つのマルチオーダー生成モデルを構築。
• 多層ネットワーク表現から導出されるブロック隣接行列および遷移行列を用いてモデルを形式化し、パスの尤度を効率的に計算可能に。
• モデル尤度は複数のパスに並列で計算され、トレーニングの高速化が実現され、大規模データセットへのスケーラビリティが向上。
• AICを用いた情報に基づくモデル選択手順を適用し、モデルの適合度と複雑さのバランスを取って最適な最大次数Kを選択。
• パスの開始ノードおよび終了ノード、さらにパス長の分布を明示的にモデル化することで、予測精度の向上を実現。
• 並列化実装を用いることで、数百万件の変動長シーケンスを含むデータセットへのスケーリングを達成。

実験結果

リサーチクエスチョン

• RQ1 包括的なマルチオーダー・モデルは、ネットワーク内を走査されたノードのシーケンスにおいて、次ノードの予測で既存手法を上回ることができるか？
• RQ2 下位のグラフトポロジーの制約を尊重しつつ、ノード走査の高次依存性を効果的にモデル化できるか？
• RQ3 情報理論的モデル選択手法は、手動でのハイパーパramータチューニングを必要とせず、最適な最大次数Kを自動で特定できるか？
• RQ4 提案手法は、全変動長パスシーケンスを含む、アウトオブサンプルのパス予測にどの程度一般化可能か？
• RQ5 大規模な実世界データセットにおいて、トレーニング時間およびメモリ使用量の面で、モデルのスケーラビリティはどの程度か？

主な発見

• MOGenは、ウェブサイトナビゲーションや公共交通機関システムを含む6つの実世界データセットにおいて、次要素予測で最先端の手法を顕著に上回る。
• AICに基づくモデル選択アルゴリズムは、過学習や不足学習を回避する最適な最大次数Kを的確に特定した。
• MOGenが選択したすべてのモデルは1MB未満であり、複雑なシーケンシャルパターンをモデル化しているにもかかわらず、非常にコンactかつ効率的であることが示された。
• トレーニング時間はプロセッシングコア数にほぼ線形に比例し、大規模データセットにおける並列処理の効率性が顕著に示された。
• 本手法は、実際の交通網における乗客の旅程など、変動長の全パスのアウトオブサンプル予測を成功裏に実現した。
• 最大次数Kとモデルサイズの関係は超線形的増加を示すが、TUBEデータセットのようなスパarsely connectedなネットワークでは、成長が最も制限された。