[論文レビュー] Integrating Network Embedding and Community Outlier Detection via Multiclass Graph Description

Sambaran Bandyopadhyay, Saley Vishal Vivek+1 more|arXiv (Cornell University)|Jul 20, 2020

Anomaly Detection Techniques and Applications参考文献 23被引用数 4

ひとこと要約

本稿では、マルチクラスサポートベクターデータ記述をグラフに拡張することで、ノード埋め込みの学習、コミュニティの外れ値検出、コミュニティへのノード割り当てを統合的に最適化する、新しい非教師あり深層学習フレームワークであるDMGDを提案する。この手法は、埋め込み、コミュニティ割り当て、外れ値検出の最適化をミニマックス形式で統合し、外れ値検出、コミュニティ検出、ノード分類の各タスクで最先端の性能を達成するとともに、コミュニティの外れ値に対して頑健である。

ABSTRACT

Network (or graph) embedding is the task to map the nodes of a graph to a lower dimensional vector space, such that it preserves the graph properties and facilitates the downstream network mining tasks. Real world networks often come with (community) outlier nodes, which behave differently from the regular nodes of the community. These outlier nodes can affect the embedding of the regular nodes, if not handled carefully. In this paper, we propose a novel unsupervised graph embedding approach (called DMGD) which integrates outlier and community detection with node embedding. We extend the idea of deep support vector data description to the framework of graph embedding when there are multiple communities present in the given network, and an outlier is characterized relative to its community. We also show the theoretical bounds on the number of outliers detected by DMGD. Our formulation boils down to an interesting minimax game between the outliers, community assignments and the node embedding function. We also propose an efficient algorithm to solve this optimization framework. Experimental results on both synthetic and real world networks show the merit of our approach compared to state-of-the-arts.

研究の動機と目的

• グラフ埋め込みの品質に悪影響を及えるコミュニティの外れ値の影響を軽減するため、学習段階でこれを適切に処理しないとノード表現が歪むことへの対策を講じる。
• ノード埋め込み、コミュニティ検出、外れ値検出を統合したエンドツーエンドの最適化フレームワークとして統合的学習を実現する。
• 外れ値をグローバルにではなく、局所的なコミュニティ構造に基づいて検出する手法を開発し、埋め込み空間におけるコミュニティの整合性を保つ。
• 検出された外れ値の数に対する理論的境界を導出し、外れ値に起因する歪みに対して頑健な性能を保証する。

提案手法

• 各コミュニティを埋め込み空間内の超球としてモデル化することで、深層サポートベクターデータ記述（Deep SVDD）を複数のコミュニティに拡張する。
• 埋め込み関数、コミュニティ割り当て、外れ値検出を同時に最適化するミニマックス最適化フレームワークを導入し、外れ値の影響を最小化する。
• 深層ニューラルネットワークを用いて非線形なノード埋め込みを学習し、通常ノードはコミュニティ固有の超球内に、外れ値は超球外に位置するように制約を課す。
• 通常ノードの埋め込みが割り当てられたコミュニティ境界から外れた場合にペナルティを課す損失関数を採用し、逆に外れ値が境界内に位置する場合にもペナルティを課す。
• 学習された埋め込み構造と整合的になるように、クラスタリングに配慮した目的関数を導入する。
• 反復的アルゴリズムにより最適化を解き、埋め込み、コミュニティ割り当て、外れ値スコアの更新を交互に繰り返す。

実験結果

リサーチクエスチョン

• RQ1 統合的な深層学習フレームワークが、グラフ埋め込み、コミュニティ検出、コミュニティ外れ値検出を同時に最適化できるか？
• RQ2 標準的なグラフ埋め込み手法と比較して、提案手法DMGDはコミュニティ外れ値に対してどのように頑健性を向上させるか？
• RQ3 外れ値が存在する状況下でも、DMGDはコミュニティ構造をどれほど保ち、高品質なノード表現を維持できるか？
• RQ4 DMGDフレームワークが検出する外れ値の数に対して、どのような理論的保証を提供できるか？

主な発見

• DMGDは、合成ネットワークおよび実世界ネットワークの両方で、すべてのベースラインを上回る外れ値再現率を達成し、特に他の手法が見逃す「コミュニティ間外れ値」を効果的に検出する。
• Coraデータセットでは、5%の外れ値が埋め込まれたシード済みバージョンにおいて、マクロ-F1スコアが53.05%を達成し、node2vec（非シード時55.99%）や他のベースラインを顕著に上回る。
• DMGDは、ベースラインと比較してクラスタリング精度（Coraシード版で44.86%）を維持または向上させ、より一貫性のあるコミュニティを学習できることを示している。
• 外れ値が存在する状況下でも、ノード分類などの下流タスクで性能が著しく低下せず、標準ベースラインとは対照的に顕著な低下を示さない。
• 外れ値が存在する状況下で、DMGDのノード分類およびクラスタリング性能は安定またはわずかに向上するが、ベースラインは著しく低下する。
• 検出外れ値数に関する理論的境界が導出され、本手法の外れ値推定における信頼性が裏付けられている。