[論文レビュー] Representations and Ensemble Methods for Dynamic Relational Classification

Ryan A. Rossi, Jennifer Neville|arXiv (Cornell University)|Nov 22, 2011

Bayesian Modeling and Causal Inference参考文献 11被引用数 3

ひとこと要約

本論文は、時間的変化する関係データ（時間的変動するリンク、属性、ノード）の時間的表現を、時間分解能と重み付け戦略を用いて活用することで、動的関係分類のフレームワークを提案する。これらの表現を関係分類器およびアンサンブル手法に統合することで、特に通信ネットワークにおける進化するトピックをモデル化する際、静的モデルに比べて分類精度が顕著に向上する。

ABSTRACT

Temporal networks are ubiquitous and evolve over time by the addition, deletion, and changing of links, nodes, and attributes. Although many relational datasets contain temporal information, the majority of existing techniques in relational learning focus on static snapshots and ignore the temporal dynamics. We propose a framework for discovering temporal representations of relational data to increase the accuracy of statistical relational learning algorithms. The temporal relational representations serve as a basis for classification, ensembles, and pattern mining in evolving domains. The framework includes (1) selecting the time-varying relational components (links, attributes, nodes), (2) selecting the temporal granularity, (3) predicting the temporal influence of each time-varying relational component, and (4) choosing the weighted relational classifier. Additionally, we propose temporal ensemble methods that exploit the temporal-dimension of relational data. These ensembles outperform traditional and more sophisticated relational ensembles while avoiding the issue of learning the most optimal representation. Finally, the space of temporal-relational models are evaluated using a sample of classifiers. In all cases, the proposed temporal-relational classifiers outperform competing models that ignore the temporal information. The results demonstrate the capability and necessity of the temporal-relational representations for classification, ensembles, and for mining temporal datasets.

研究の動機と目的

• 大多数の既存手法が静的スナップショットに焦点を当てているのに対し、関係学習における時間的ダイナミクスの統合によるギャップを埋める。
• 時間的変動する要素（リンク、属性、ノード）を、異なる分解能と影響力でモデル化することで、最適な時間的関係表現を発見する柔軟なフレームワークを開発する。
• 個々の分類器およびアンサンブル手法における時間的表現の活用により、分類精度を向上させる。
• 時間的表現の有用性を、関係データにおける時間的パターンの抽出および進化構造の発見に探る。
• 特に通信および協働ネットワーク分野において、進化するネットワークにおける正確な予測には時間的ダイナミクスのモデル化が不可欠であることを示す。

提案手法

• 時間的変動する要素（リンク、属性、ノード）を選択し、時間分解能（タイムステップ、ウィンドウ、ユニオン）を適用する時間的関係分類フレームワークを定義する。
• 指数的減衰などの時間的重み付けを適用し、過去の関係的要素の影響をモデル化することで、古くなったデータの影響を低減する。
• リラティブラベイズやその他の確率的分類器を用いて、時間的表現を組み合わせた重み付き関係分類器を構築する。
• 時間の経過に伴い特徴をサンプリング・ランダム化・変換する時間的アンサンブル手法を設計し、時間的変動を活用して耐性と精度を向上させる。
• LDA（潜在ディリクレ配分）を用いて通信ネットワークにおける潜在的トピックを発見し、時間経過に伴うリンクおよび個人のトピック参加状況をアノテートする。
• 実世界のデータセット（電子メール、バグ、統合通信ネットワーク）を用いて評価し、時間的トピックと開発者効率性指標をアノテート済みのデータを用いる。

実験結果

リサーチクエスチョン

• RQ1 時間的変動するリンク、属性、ノードの時間的表現は、静的モデルに比べて分類精度をどのように向上させるか？
• RQ2 動的関係データにおける予測性能を最大化するための、最適な時間的分解能と重み付け戦略の組み合わせは何か？
• RQ3 時間的変動する特徴を活用する時間的アンサンブル手法は、従来のおよびより複雑な関係的アンサンブルを上回ることができるか？また、最適な表現を学習する必要はか？
• RQ4 通信ネットワークにおける潜在的トピックモデルの進化はどの程度で、そのパターンは開発者効率性とどのように相関するか？
• RQ5 時間的表現は、関係データセットにおける意味のある時間的パターンの発見をどの程度向上させるか？

主な発見

• 時間的関係分類器は、評価されたすべての分類タスクにおいて静的モデルを一貫して上回り、時間的ダイナミクスのモデル化の必要性を示している。
• シンプルな時間的表現（例：均等重み付けや基本的なウィンドウ）を用いるモデルは、最適化された時間的重み付けおよび分解能を用いるモデルに比べ、著しく性能が低い。
• 時間的変動する特徴を活用する時間的アンサンブル手法は、従来のおよび洗練された関係的アンサンブルを上回り、最適な表現学習が不要なまま高い精度を達成している。
• LDAによる潜在的トピックモデリングは、通信ネットワークにおける意味のある進化パターンを明らかにし、効率の良い開発者は時間経過にわたって一貫したトピック参加を示している。
• トピックの時間的進化は開発者効率性と強く相関しており、通信構造とトピックの一貫性がパフォーマンスの予測に有用であることが示唆される。
• 細分化された時間的分解能を用いる複雑なモデルは性能を向上させるが、計算コストが非常に高いため、複雑さと利得のトレードオフが生じる。