[論文レビュー] Deep Temporal Graph Clustering

Meng Liu, Yue Liu+5 more|arXiv (Cornell University)|May 18, 2023

Complex Network Analysis Techniques被引用数 25

ひとこと要約

本論文は、相互作用シーケンスのバッチ処理に深層クラスタリングモジュールを適応させた、時系列グラフ上の教師なしクラスタリングの一般的枠組みであるTGCを提案する。これにより、静的グラフ法よりもスケーラビリティとクラスタリング性能が向上する。

ABSTRACT

Deep graph clustering has recently received significant attention due to its ability to enhance the representation learning capabilities of models in unsupervised scenarios. Nevertheless, deep clustering for temporal graphs, which could capture crucial dynamic interaction information, has not been fully explored. It means that in many clustering-oriented real-world scenarios, temporal graphs can only be processed as static graphs. This not only causes the loss of dynamic information but also triggers huge computational consumption. To solve the problem, we propose a general framework for deep Temporal Graph Clustering called TGC, which introduces deep clustering techniques to suit the interaction sequence-based batch-processing pattern of temporal graphs. In addition, we discuss differences between temporal graph clustering and static graph clustering from several levels. To verify the superiority of the proposed framework TGC, we conduct extensive experiments. The experimental results show that temporal graph clustering enables more flexibility in finding a balance between time and space requirements, and our framework can effectively improve the performance of existing temporal graph learning methods. The code is released: https://github.com/MGitHubL/Deep-Temporal-Graph-Clustering.

研究の動機と目的

• 動的な相互作用情報を保持する時系列グラフクラスタリングの必要性を動機づける。
• クラスタリング手法をバッチベースの時系列データに適応させる、一般的でスケーラブルな枠組み（TGC）を提案する。
• メモリのボトルネックを緩和しつつ、時系列グラフ上で効果的なノードクラスタリングを実現する。
• 既存の時系列グラフ学習モデルへの本枠組みの適用性を示す。

提案手法

• 時系列グラフに対して2つの古典的な深層クラスタリング要素を適応させる：ノードレベルの分布とバッチレベルの再構成。
• 相互作用ダイナミクスをモデル化するため、 Hawkes過程にヒントを得た時系列損失を用いて相互作用のダイナミクスをモデル化する。
• ノードレベルのソフトアサインメント q とターゲット分布 p を実装し、KL発散損失 L_node でクラスタリングを推進する。
• バッチレベルの疑似再構成損失 L_batch をコサイン類似度に基づいて実装し、バッチ内の局所隣接関係を保持する。
• 全体のクラスタリング損失 L_clu = L_node + L_batch は、時系列損失 L_tem と組み合わせて、エッジごとに L_tem + L_clu の総和として表される内-end-to-end目的関数 L = sum over edges (L_tem + L_clu)。
• 計算量を O(|E|) と分析し、静的な O(N^2) 隣接行列クラスタリングに対するメモリ利得を示す。

実験結果

リサーチクエスチョン

• RQ1 クラスタリングモジュールを、時系列グラフのバッチ処理パターンで機能するように再定式化するには？
• RQ2 時系列グラフは、静的グラフと比較してクラスタリングのメモリとスケーラビリティの利点を提供するか？
• RQ3 提案されたTGCフレームワークは、既存の時系列グラフモデルに適用した場合、クラスタリング性能を向上させるか？
• RQ4 時系列グラフクラスタリングの実践的なデータ・計算量・移植性に関する考慮事項は何か？
• RQ5 時系列グラフクラスタリングの開発を妨げる制限事項とデータ要件は何か？

主な発見

• TGCは、複雑さが約 O(|E|) で、メモリ効率の高い時系列クラスタリングを実現し、静的な O(N^2) 法よりも大幅に低い場合が多い。
• 時系列バッチ処理により、静的手法が困難な大規模な時系列グラフ（例：arXivAI/arXivCS）で効果的なクラスタリングが可能になる。
• HTNE, TGN, TREND などの複数の時系列グラフベースラインで、クラスタリング損失に時系列ダイナミクスを組み込むことでクラスタリング性能を向上させる。
• 時系列グラフクラスタリングは、バッチサイズの調整によって時間と空間の要求をバランスさせる柔軟性を示す。
• 2つの新規データセット（arXivAI、arXivCS）は、ドメインに由来するノードラベルを持つ大規模な時系列グラフへの適用性を示し、クラスタリング評価を可能にする。
• 実験によると、TGCはしばしば優れた総合成績を示し、大規模グラフでのメモリボトルネックを緩和する。