[論文レビュー] Meta Learning with Relational Information for Short Sequences

Yujia Xie, Haoming Jiang+3 more|arXiv (Cornell University)|Sep 4, 2019

Point processes and geometric inequalities被引用数 10

ひとこと要約

本稿では、階層ベイジアン混合 Hawkes プロセスを用いて短いイベント系列をモデル化し、関係性ネットワーク情報を統合することで、適応的でコミュニティに配慮した学習を可能にするメタラーニングフレームワーク HARMLESS を提案する。合成データおよび実世界のデータにおいて、将来のイベント予測においてベースラインを上回り、対数尤度で統計的に有意な向上（p = 1.3×10⁻⁵）を達成する。

ABSTRACT

This paper proposes a new meta-learning method -- named HARMLESS (HAwkes Relational Meta LEarning method for Short Sequences) for learning heterogeneous point process models from short event sequence data along with a relational network. Specifically, we propose a hierarchical Bayesian mixture Hawkes process model, which naturally incorporates the relational information among sequences into point process modeling. Compared with existing methods, our model can capture the underlying mixed-community patterns of the relational network, which simultaneously encourages knowledge sharing among sequences and facilitates adaptive learning for each individual sequence. We further propose an efficient stochastic variational meta expectation maximization algorithm that can scale to large problems. Numerical experiments on both synthetic and real data show that HARMLESS outperforms existing methods in terms of predicting the future events.

研究の動機と目的

• 従来の手法がデータ量が不足するため失敗する、短くノイズが多く多様性のあるイベント系列のモデリングという課題に対処する。
• （例：ソーシャルグラフなど）関係性ネットワーク情報を統合して、コミュニティレベルのパターンを捉え、系列間での一般化を向上させる。
• 各系列を個体固有のパラメータを持つ Hawkes プロセスの混合としてモデル化し、モデルに依存しない適応（メタラーニング）により、短い系列に対する高速な適応を可能にする。
• Hawkes プロセスの事前分布に対して強いパラメトリックな仮定を設けず、スケーラブルな推論アルゴリズムを開発することで、実世界の応用に適した柔軟性を高める。
• 統一された確率的枠組みの中で、系列の多様性と関係性構造を同時にモデリングすることで、将来のイベント発生時刻の予測性能を向上させる。

提案手法

• 各系列を複数の Hawkes プロセスの混合としてモデル化する階層ベイジアン混合 Hawkes プロセスモデルを提案し、それぞれのプロセスが潜在的な個体またはコミュニティに対応する。
• ノード埋め込みとコミュニティ構造を用いて、関係性ネットワーク情報（例：ソーシャルグラフのエッジ）を、Hawkes プロセスの混合重みに統合する。
• 共有された共通モデルに基づき、系列固有のパラメータを更新するモデルに依存しないメタラーニング（MAML スタイル）適応戦略を用いることで、少数のイベントで迅速な適応を実現する。
• 推論とモデルパラメータの更新を交互に繰り返す確率的変分メタ-EMアルゴリズムを設計し、大規模データセットにも効率的にスケーリングできる。
• 推論を2段階に分解する：まず、関係性グラフ上で混合メンバーシップスチュワート・ブロックモデル（MMSB）を用いてコミュニティメンバーシップを推定し、次にメタ適応により系列固有の Hawkes パラメータを学習する。
• Hawkes プロセスの事前分布に対して強いパラメトリックな仮定を設けず、共有初期化からの適応更新ルールを用いることで、柔軟性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 関係性ネットワーク情報は、短く多様性のあるイベント系列のモデリングを効果的に改善できるか？
• RQ2 従来のタスク分割が不可能な非監視的、順序的なイベントデータに対して、メタラーニングはどのように適合可能か？
• RQ3 個体固有の成分を持つ Hawkes プロセスの混合として系列をモデリングすることで、単一モデルや共有モデルのベースラインに比べて予測性能がどの程度向上するか？
• RQ4 MAML や FOMAML、Reptile などの異なるメタラーニングアルゴリズムは、短い系列モデリングに応用した際、性能と安定性においてどのように比較されるか？
• RQ5 関係性構造、コミュニティの多様性、個体モデリングは、フレームワーク全体の予測性能にそれぞれどの程度寄与しているか？

主な発見

• LinkedIn データセットにおいて、HARMLESS は対数尤度 1.4070 ± 0.0105 を達成し、最良のベースライン（MLE-Com）を有意に上回り、p 値は 1.3×10⁻⁵ であった。
• アブレーションスタディにより、MAML スタイルの適応、関係性グラフ情報、マルチ・アイデンティティモデリングの各要素が性能向上に寄与していることが確認され、いずれの要素を除いても対数尤度が 0.4 点以上低下した。
• 内部の多様性（すなわち、コミュニティ内のすべての系列を同一とみなす）を排除すると、性能は 0.9405 ± 0.0032 に低下し、個々の系列のばらつきが極めて重要であることが示された。
• グラフ構造を排除すると、MAML 変種で性能が 0.9507 ± 0.0032 に低下し、関係性情報が正確なモデリングに不可欠であることが示された。
• HARMLESS の FOMAML 変種は対数尤度 1.0129 ± 0.0042 を達成し、Reptile（0.9540 ± 0.0082）を上回り、この文脈では完全な MAML 更新ルールがより効果的であることが示された。
• 本手法は、実世界のネットワークで伝統的でないコミュニティパターン（例：活動レベルに基づくクラスタリング）を効果的に捉えており、高次数ノード（活発なユーザー）が自然にグループ化される。これにより、モデルの解釈性と性能が向上した。