[論文レビュー] Outlier Aware Network Embedding for Attributed Networks

Sambaran Bandyopadhyay, N. Lokesh+1 more|arXiv (Cornell University)|Nov 19, 2018

Anomaly Detection Techniques and Applications参考文献 25被引用数 8

ひとこと要約

本稿では、構造的損失と属性ベースの損失を同時に最適化しながら、外れ値の影響を最小限に抑える、属性付きネットワーク向けの非教師あり外れ値対応ネットワーク埋め込み手法ONEを提案する。反復的にノード埋め込みを精緻化し、異常ノードの重みを低下させることで、5%の意図的な外れ値が存在する状況下でも、外れ値検出およびノード分類やクラスタリングなどの下流タスクにおいて優れた性能を達成する。

ABSTRACT

Attributed network embedding has received much interest from the research community as most of the networks come with some content in each node, which is also known as node attributes. Existing attributed network approaches work well when the network is consistent in structure and attributes, and nodes behave as expected. But real world networks often have anomalous nodes. Typically these outliers, being relatively unexplainable, affect the embeddings of other nodes in the network. Thus all the downstream network mining tasks fail miserably in the presence of such outliers. Hence an integrated approach to detect anomalies and reduce their overall effect on the network embedding is required. Towards this end, we propose an unsupervised outlier aware network embedding algorithm (ONE) for attributed networks, which minimizes the effect of the outlier nodes, and hence generates robust network embeddings. We align and jointly optimize the loss functions coming from structure and attributes of the network. To the best of our knowledge, this is the first generic network embedding approach which incorporates the effect of outliers for an attributed network without any supervision. We experimented on publicly available real networks and manually planted different types of outliers to check the performance of the proposed algorithm. Results demonstrate the superiority of our approach to detect the network outliers compared to the state-of-the-art approaches. We also consider different downstream machine learning applications on networks to show the efficiency of ONE as a generic network embedding technique. The source code is made available at https://github.com/sambaranban/ONE.

研究の動機と目的

• 属性付きネットワークにおける外れ値が標準的なネットワーク埋め込みの品質を低下させることの課題に対処する。
• 教師データを必要とせず、ノード表現の学習と外れ値検出を同時に実行する非教師ありフレームワークを開発する。
• 構造的外れ値、属性ベースの外れ値、およびそれらの組み合わせが全体の埋め込みプロセスに与える影響を最小限に抑える。
• ノード分類やクラスタリングを含む複数の下流タスクにおいて、提案手法の有効性を実証する。
• 現実世界の属性付きネットワークに内在するノイズや異常要因に対応できる汎用的かつスケーラブルなソリューションを提供する。

提案手法

• 構造再構成損失と属性再構成損失を組み合わせた新しいコスト関数を提案し、外れ値に強い重み付けを導入して異常ノードの影響を低減する。
• 反復的勾配降下法を用いて、ノード埋め込み、構造再構成、属性再構成を同時に更新する共同最適化フレームワークを導入する。
• 最適化プロセス中に外れ値と特定されたノードに低い重要度を割り当てる動的重み付けメカニズムを適用する。
• 対称的行列分解を用いて、ネットワークトポロジーとノード属性の両方を保持する低次元埋め込みを学習する。
• 同型性に基づく構造的および属性的近傍関係の相関を活用し、外れ値を示す不一致を検出する。
• 埋め込みの更新と再構成誤差に基づく外れ値スコアの精緻化を交互に繰り返す反復的アルゴリズムを実装する。

実験結果

リサーチクエスチョン

• RQ1 非教師ありネットワーク埋め込み手法は、属性付きネットワークにおける構造的外れ値、属性外れ値、およびそれらの組み合わせを効果的に検出し、その影響を軽減できるか？
• RQ2 構造と属性の共同最適化は、分離または教師ありアプローチと比較して、どのように耐障害性を向上させるか？
• RQ3 ノード分類やクラスタリングなどの下流タスクにおいて、提案手法は最先端のベースラインをどの程度上回るか？特に外れ値が存在する条件下で。
• RQ4 教師データが利用できない状況で、ONEの性能は半教師あり手法SEANOと比較してどうなるか？
• RQ5 外れ値対応の統合が、5%のノードが意図的に破損している場合でも、より安定的かつ正確な埋め込みをもたらすか？

主な発見

• ONEは、node2vec や TADW などの最先端の非教師あり手法を常に上回り、5%の外れ値が存在する状況下でも、すべてのデータセットで最高のマクロF1およびミクロF1スコアを達成する。
• Citeseerデータセットでは、ONEはミクロF1スコア0.82、マクロF1スコア0.78を達成し、外れ値が存在する状況下でAANE や SEANO より顕著に優れた性能を示す。
• ノードクラスタリングにおいて、ONEはすべてのデータセットで最良のベースライン（SEANO）の2%以内のクラスタリング精度を達成しており、完全に非教師ありであるにもかかわらず、従来の手法は外れ値条件下で失敗する。
• 実世界のデータセットではアルゴリズムが急速に収束し、1イテレーションあたりO(N²)の計算量が支配的であるため、サンプリングや近似による最適化が可能である。
• 標準的手法の埋め込みに適用した場合、ONEは孤立フォレストや他のベースラインよりも外れ値をより効果的に検出でき、統合された外れ値検出能力を示している。
• 教師データが一切ない状況下でも、ONEはクラスタリングおよび分類タスクにおいて半教師ありのSEANOと同等またはそれを上回る性能を示しており、耐障害性と一般化能力の高さを裏付けている。