[論文レビュー] Benefits from Superposed Hawkes Processes

Hongteng Xu, Dixin Luo+2 more|arXiv (Cornell University)|Oct 14, 2017

Point processes and geometric inequalities被引用数 4

ひとこと要約

本稿では、時間的ポイント過程モデリングにおける学習効率の向上と過剰リスクの低減を目的として、重ね合わせたハーケス過程の使用を提案する。共有された内生的トリガーカーネルと多様な外部的強度を持つ複数のハーケス過程を組み合わせることで、最小二乗推定における過剰リスクの上界が tightened され、推薦システムにおけるコールドスタート問題の解決において優れた性能を示す。

ABSTRACT

The superposition of temporal point processes has been studied for many years, although the usefulness of such models for practical applications has not be fully developed. We investigate superposed Hawkes process as an important class of such models, with properties studied in the framework of least squares estimation. The superposition of Hawkes processes is demonstrated to be beneficial for tightening the upper bound of excess risk under certain conditions, and we show the feasibility of the benefit in typical situations. The usefulness of superposed Hawkes processes is verified on synthetic data, and its potential to solve the cold-start problem of recommendation systems is demonstrated on real-world data.

研究の動機と目的

• 特にハーケス過程のような複雑なモデルにおける重ね合わせ時間的ポイント過程の実用的有用性のギャップを埋めること。
• 重ね合わせたハーケス過程が、推定誤差の低減という観点で測定可能な利点をもたらすかどうかを調査すること。
• 限られたユーザーの相互作用データを持つ実世界の応用、例えば推薦システムにおいて、重ね合わせたハーケス過程の実現可能性と利点を示すこと。
• 重ね合わせたハーケス過程が共有された内生的構造を持つ場合、最小二乗学習における過剰リスクの上界がよりタイトになる理論的根拠を提供すること。
• 合成データおよび実世界のデータセットの両方で、特にコールドスタート推薦シナリオにおける手法の有効性を検証すること。

提案手法

• 複数のエンティティ（例：ユーザー）を、個別に異なる外部的強度を持つハーケス過程としてモデル化し、内生的トリガーカーネルを共有する。
• 重ね合わせ過程を個々のカウンティング過程の和として定義する：$ N(t) = \sum_{m=1}^{M} N^m(t) $、ここで $ N^m(t) $ はエンティティ $ m $ のカウンティング過程である。
• 集団的なイベントパターンを活用して、共有された感染性（トリガー）行列を最小二乗推定により学習する。
• 理論的分析により、外部的強度が多様な場合、重ね合わせによって過剰リスクの上界がタイトネスを示し、推定の安定性が向上することを示す。
• 重ね合わせモデルを用いて、個々のユーザー履歴が疎な場合の推薦システムにおけるユーザー行動パターンを推定する。
• THAP MATLABツールボックスを用いて実装し、約1,000人のユーザーと数100のアイテムを含むデータセットにおいて、1分未満で効率的な学習が可能である。

実験結果

リサーチクエスチョン

• RQ1 複数のハーケス過程を重ね合わせることで、トリガーカーネルの推定精度が向上するか？
• RQ2 ハーケス過程の最小二乗学習において、重ね合わせが過剰リスクを低減する条件は何か？
• RQ3 外部的強度の多様性が、重ね合わせ学習の実現可能性と利点にどのように影響するか？
• RQ4 疎なユーザー相互作用データを持つ推薦システムにおいて、重ね合わせたハーケス過程はコールドスタート問題を効果的に解決できるか？
• RQ5 重ね合わせの利点は、異なる実世界のデータ分布に対して一貫して有効であるか、それともモデルの適合性に依存するか？

主な発見

• 外部的強度が多様な場合、重ね合わせたハーケス過程は最小二乗学習における過剰リスクの上界がタイトになるため、推定の改善に理論的根拠を提供する。
• 合成データでは、個別プロセスの学習と比較して、本手法は一貫して推定誤差を低減し、理論的予測を確認する。
• 実世界の推薦実験では、「Superposition + HP」戦略が、ベースライン手法と比較して「Garden」と「Pet」カテゴリで精度、再現率、F1スコアを10%以上向上させた。
• ユーザー行動がハーケス過程の仮定に従わない可能性がある「Baby」カテゴリにおいても、本手法は「Multi-source + MHP」ベースラインを上回ったことから、重ね合わせの利点が頑健であることが示された。
• 実世界のデータセット（1,000人のユーザー、数100のアイテム）において、本手法は1分未満の学習時間を達成し、実用的なスケーラビリティを示した。
• 予備的な結果では、最大尤度推定に対しても重ね合わせの利点が拡張可能である可能性が示唆されており、図1(c)および1(d)の性能トレンドがその根拠である。